<div dir="ltr"><br><br><div class="gmail_quote">On Wed, Apr 1, 2015 at 10:21 AM Dave Oran (oran) <<a href="mailto:oran@cisco.com">oran@cisco.com</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
> On Apr 1, 2015, at 12:59 PM, Wentao Shang <<a href="mailto:wentaoshang@gmail.com" target="_blank">wentaoshang@gmail.com</a>> wrote:<br>
><br>
> I think this problem shows one limitation of in-memory cache (and repo in general). The cache/repo is a "passive" storage: once the data gets in, it never gets out unless someone explicitly request it.<br>
And why is that not exactly what you want? A place that can respond to interests without interrupting or otherwise causing thread scheduling problems for an application generating data open-loop.<br></blockquote><div><br></div><div>I think in general this is what most application wants. The problem that Jeff mentioned is that by the time the data is inserted into repo, the interest has already resided inside NFD. The repo may have seen that interest before but did not response because the data wasn't ready yet.</div><div><br></div><div>But I totally agree that repo should not do anything more than just storing the data and responding to incoming interest. It's the application who can be more intelligent in deciding when to push out data.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
The repo is protected from infinite growth by the expiration time of the data.<br>
<br>
> The applications, on the other hand, can be more "active" in deciding when to send out data in response to previous interests.<br>
><br>
You;ll have to explain why this is a good thing? Can the application smooth jitter this way? Maybe. What other benefits might accrue?<br></blockquote><div><br></div><div>I believe the application should have the freedom to insert an arbitrary delay before responding to the interest. That delay may range from zero to infinite. There are various reasons to cause the delay: maybe the application needs to fetch some data from some other remote host; maybe the application wants to adjust jitter; or maybe the machine that runs the application is just super slow...</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
> I remember Illya and Lijing's ndnvideo implementation also needs to handle similar problem. Their current solution (as far as I understand) is to push out the data twice: once to the NFD for satisfying request, once to the repo for archiving. The second push uses repo insertion command so it's not just a plain data packet (like in the first push).<br>
><br>
Why not put everything into the repo and let the Repo respond to all interests? Is it the cost of context switches?<br></blockquote><div><br></div><div>Still, the problem is that if the repo already missed the interest, it has to wait for the retransmission of that interest, unless someone (most likely the application) pulls the trigger and sends out the data before the previous interest expires...</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Is it because the architectural model of the repo is that it had to have non-volatile backing store to survive host crashes which might be irrelevant for pure realtime applications (i.e. you don’t care about recordings).<br>
<br>
<br>
> Wentao<br>
><br>
> On Wed, Apr 1, 2015 at 8:38 AM Burke, Jeff <<a href="mailto:jburke@remap.ucla.edu" target="_blank">jburke@remap.ucla.edu</a>> wrote:<br>
><br>
> Thanks for all of the discussion. I am not sure if I have been able to extract an answer to the original question I was asking.  Let me try again with more information:<br>
><br>
> - The original question was intended to be only about a local NFD (for now).<br>
> - The use case is a (soft) real-time application, like videoconferencing or streaming sensor data for interactive applications. Specifically, we have encountered the issue in 1) ndnrtc/ndncon for videoconferencing and 2) ndn-opt, which streams data from OpenPTrack, a person tracking system built on the robot operating system (ROS).<br>
><br>
> - In these use cases, consumers want to receive data with low latency, so they send interests intended to arrive before the time the data is produced, but not so long before that the Interests expire before corresponding data is produced.<br>
><br>
> - As they are born, samples are signed and put into a repository by the publisher.  Currently these apps use an in-memory repo specific to the application, via the MemoryContentCache class provided by the NDN-CCL library. But this could just as well be a repo outside the application.<br>
><br>
> - So, when Interests arrive, they go in the local  NFD's PIT, and are forwarded to the application.   We are interested in the case where the data is not born yet, so the publisher cannot respond to the Interest.<br>
><br>
> - Then, before the Interest expires from the local NFD's PIT, the corresponding data is born in the application and should be used to answer the Interest.  But how does that data get back to the local forwarder?<br>
><br>
> - What should the application do?  1) Maintain its own PIT?   2) Or, push the data to the local NFD, letting it drop it if it doesn't satisfy anything.  3) Or, as we have previously discussed about the MemoryContentCache, do we need to consider a more sophisticated interaction model between the application and the daemon's content store and/or PIT that reduces duplication of these capabilities in applications?<br>
><br>
> - For now, we have implemented an in-application PIT in ndnrtc.  (I am not sure what method we ended up using in ndn-opt, perhaps the unsolicited data method.)<br>
><br>
> - Discussion on this topic will help inform what library support will be provided in the short term.  (I don't think we want every application author to have to write a PIT, so am thinking in the short term we should provide one to complement the MemoryContentCache class.  But this is duplicating data structures and functionality in NFD – is that natural, or should we look to handle it through a different interaction with the local forwarder?)<br>
><br>
> Thanks,<br>
> Jeff<br>
><br>
><br>
> From: <<a href="mailto:Ignacio.Solis@parc.com" target="_blank">Ignacio.Solis@parc.com</a>><br>
> Date: Tue, 31 Mar 2015 00:06:33 +0000<br>
> To: <<a href="mailto:wentaoshang@gmail.com" target="_blank">wentaoshang@gmail.com</a>>, <<a href="mailto:Marc.Mosko@parc.com" target="_blank">Marc.Mosko@parc.com</a>><br>
><br>
> Cc: <<a href="mailto:nfd-dev@lists.cs.ucla.edu" target="_blank">nfd-dev@lists.cs.ucla.edu</a>><br>
> Subject: Re: [Nfd-dev] Handling new content in app for pending interest in NFD<br>
><br>
> I'm going to guess that caching data rules will be the same as forwarding rules. If the interface is not allowed to produce that content (due to routing / fib entries, local naming policy) data should not be forwarded OR cached.<br>
><br>
> NDN has a slightly more complicated problem with caching than CCN given then LPM matching rules.<br>
><br>
> If you have a repo that has permission to serve this content then you changed the problem. Now you need the repo protocol to give you trust.<br>
><br>
> For regular forwarding you are relying on trusting routing. For local apps you will rely (I assume)  on local permissions. For repo you will need both of those plus now a repo permission  protocol.<br>
><br>
> Dropping unsolicited data may end up being your only recourse.<br>
><br>
> There are obviously other approaches for pre-populating caches that involve higher level protocols, but I assume that's not what you're talking about.<br>
><br>
> Nacho (Ignacio) Solis<br>
> Principal Scientist<br>
> Palo Alto Research Center<br>
><br>
> From: Wentao Shang <<a href="mailto:wentaoshang@gmail.com" target="_blank">wentaoshang@gmail.com</a>><br>
> Sent: Mar 30, 2015 4:50 PM<br>
> To: "Solis, Ignacio <<a href="mailto:Ignacio.Solis@parc.com" target="_blank">Ignacio.Solis@parc.com</a>>" <<a href="mailto:Ignacio.Solis@parc.com" target="_blank">Ignacio.Solis@parc.com</a>>;<u></u>Mosko, Marc <<a href="mailto:Marc.Mosko@parc.com" target="_blank">Marc.Mosko@parc.com</a>><br>
> Cc: <a href="mailto:nfd-dev@lists.cs.ucla.edu" target="_blank">nfd-dev@lists.cs.ucla.edu</a><br>
> Subject: Re: [Nfd-dev] Handling new content in app for pending interest in NFD<br>
><br>
> Hi Nacho,<br>
><br>
> I don't have any argument against this rule right now. But it seems more relevant to "forwarding" data packets, while the problem we were discussing is about "caching" unsolicited data packets, which cannot be forwarded anyway because there is no PIT. The simplest solution I would suggest to the problem is to drop any unsolicited data in the forwarder.<br>
><br>
> Wentao<br>
><br>
> On Mon, Mar 30, 2015 at 3:42 PM <<a href="mailto:Ignacio.Solis@parc.com" target="_blank">Ignacio.Solis@parc.com</a>> wrote:<br>
> This rule is important, router or not. You can't have "non-priviledged"  applications generating replies at servers. Specially important at systems with multiple users,  tenants, virtual systems.<br>
><br>
> At the local router there are even more restrictions.  We haven't even gotten to talking about privileged names and restrictions and end-h out behavior.   We have a design  for this for CCN that we'll be talking about at CCNxCon.<br>
><br>
> Nacho (Ignacio) Solis<br>
> Principal Scientist<br>
> Palo Alto Research Center<br>
><br>
> From: Wentao Shang <<a href="mailto:wentaoshang@gmail.com" target="_blank">wentaoshang@gmail.com</a>><br>
> Sent: Mar 30, 2015 1:07 PM<br>
> To: Mosko, Marc <<a href="mailto:Marc.Mosko@parc.com" target="_blank">Marc.Mosko@parc.com</a>><br>
><br>
> Cc: <a href="mailto:nfd-dev@lists.cs.ucla.edu" target="_blank">nfd-dev@lists.cs.ucla.edu</a><br>
> Subject: Re: [Nfd-dev] Handling new content in app for pending interest in NFD<br>
><br>
> On Mon, Mar 30, 2015 at 12:52 PM <<a href="mailto:Marc.Mosko@parc.com" target="_blank">Marc.Mosko@parc.com</a>> wrote:<br>
> I’ll add that in addition to the content having a PIT entry, Nacho Solis has suggested that a router should verify that a Content Object came in a face from which it was requested.  Otherwise, there’s a potential for off-path attacks sending content objects that match popular well-known names.  A variation on that, rather than tracking forward paths, would be to at minimum verify that a content object comes from a face for which there’s a corresponding FIB entry for the name.<br>
><br>
> This requirement makes sense for transit routers that receive packets from other routers. But I'm not sure whether this is necessary for forwarding daemons handling local applications... The pushed data should never get out of the local forwarder unless there is a PIT entry specifying a path pointing to some other router.<br>
><br>
> Wentao<br>
><br>
><br>
> Marc<br>
><br>
> On Mar 30, 2015, at 12:08 PM, Wentao Shang <<a href="mailto:wentaoshang@gmail.com" target="_blank">wentaoshang@gmail.com</a>> wrote:<br>
><br>
>> I agree with Dave.<br>
>><br>
>> In principle, router should not cache unsolicited data. In the situation we are discussing, the application should either just push the data out, which may be dropped by NFD if the interest has expired, or store the data in some application-level cache (or repo) for future fetching.<br>
>><br>
>> Wentao<br>
>><br>
>> On Mon, Mar 30, 2015 at 11:52 AM Dave Oran (oran) <<a href="mailto:oran@cisco.com" target="_blank">oran@cisco.com</a>> wrote:<br>
>> Isn’t this what the repo was invented for?<br>
>><br>
>> Holding packets in a router that has forgotten that they were asked for is a giant invitation to cache pollution/poisoning attacks.<br>
>><br>
>> > On Mar 30, 2015, at 2:24 PM, Haowei Yuan <<a href="mailto:hyuan@wustl.edu" target="_blank">hyuan@wustl.edu</a>> wrote:<br>
>> ><br>
>> > I think as long as the data has actually been requested by an Interest<br>
>> > packet, it is safe to send the Data packet to NFD. The NFD will either<br>
>> > forward or drop the Data packet by checking if the Interest has<br>
>> > expired.<br>
>> ><br>
>> > If the Interest has expired, Data packet is dropped, and the consumer<br>
>> > is still interested in the data, the consumer could resend the<br>
>> > Interest. Hopefully this time, the Data packet can be generated and<br>
>> > sent faster by the application so that NFD will forward it.<br>
>> ><br>
>> > Haowei<br>
>> ><br>
>> ><br>
>> > On Mon, Mar 30, 2015 at 1:12 PM, Anil Jangam <<a href="mailto:anilj.mailing@gmail.com" target="_blank">anilj.mailing@gmail.com</a>> wrote:<br>
>> >><br>
>> >> On Mar 30, 2015 11:08 AM, "Dehart, John" <<a href="mailto:jdd@wustl.edu" target="_blank">jdd@wustl.edu</a>> wrote:<br>
>> >>><br>
>> >>><br>
>> >>> Is there any harm in it pushing the data out without knowing for sure if<br>
>> >>> the<br>
>> >>> Interest is still active?<br>
>> >>><br>
>> >> If data is so critical, can the Interest be refreshed proactively before it<br>
>> >> expires?<br>
>> >><br>
>> >> /anil<br>
>> >><br>
>> >>> John<br>
>> >>><br>
>> >>>> On Mar 30, 2015, at 1:05 PM, Burke, Jeff <<a href="mailto:jburke@remap.ucla.edu" target="_blank">jburke@remap.ucla.edu</a>> wrote:<br>
>> >>>><br>
>> >>>><br>
>> >>>><br>
>> >>>>><br>
>> >>>>><br>
>> >>>>> On Mon, Mar 30, 2015 at 10:28 AM Burke, Jeff <<a href="mailto:jburke@remap.ucla.edu" target="_blank">jburke@remap.ucla.edu</a>><br>
>> >>>>> wrote:<br>
>> >>>>>><br>
>> >>>>>><br>
>> >>>>>> Hi folks,<br>
>> >>>>>><br>
>> >>>>>> We are facing this scenario in a few applications:<br>
>> >>>>>><br>
>> >>>>>> 1) Interest received by NFD, passed to an application<br>
>> >>>>>> 2) Application not able to respond to interest, so interest stays in<br>
>> >>>>>> NFD PIT<br>
>> >>>>>> 3) Some time passes, but not enough for the Interest to expire<br>
>> >>>>>> 4) Application generates data (e.g., from a sensor reading) that would<br>
>> >>>>>> answer the Interest in the NFD PIT<br>
>> >>>>>><br>
>> >>>>>> Question: How does app know to inform NFD it has the data after step 4,<br>
>> >>>>>> and how should it do that?<br>
>> >>>>>><br>
>> >>>>>> - In this type of app, should it push the data unsolicited to the NFD<br>
>> >>>>>> and let it decide if there is something to do?<br>
>> >>>>><br>
>> >>>>><br>
>> >>>>> In my opinion, as long as the application is certain that the Interest<br>
>> >>>>> has arrived and is stored in NFD's PIT, it can just push the data out to<br>
>> >>>>> NFD.<br>
>> >>>><br>
>> >>>><br>
>> >>>><br>
>> >>>> How certain does it have to be?  There is a chance it could have<br>
>> >>>> expired...<br>
>> >>>> jeff<br>
>> >>>><br>
>> >>>><br>
>> >>>><br>
>> >>>><br>
>> >>>><br>
>> >>>>><br>
>> >>>>> Wentao<br>
>> >>>>><br>
>> >>>>>><br>
>> >>>>>> - Is it recommended to implement an application-level PIT so the app is<br>
>> >>>>>> sure this data is solicited?  (Why add another PIT?)<br>
>> >>>>>><br>
>> >>>>>> Thank you,<br>
>> >>>>>> Jeff<br>
>> >>>>>><br>
>> >>>>>> ______________________________<u></u>_________________<br>
>> >>>>>> Nfd-dev mailing list<br>
>> >>>>>> <a href="mailto:Nfd-dev@lists.cs.ucla.edu" target="_blank">Nfd-dev@lists.cs.ucla.edu</a><br>
>> >>>>>> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev" target="_blank">http://www.lists.cs.ucla.edu/<u></u>mailman/listinfo/nfd-dev</a><br>
>> >>>><br>
>> >>>> ______________________________<u></u>_________________<br>
>> >>>> Nfd-dev mailing list<br>
>> >>>> <a href="mailto:Nfd-dev@lists.cs.ucla.edu" target="_blank">Nfd-dev@lists.cs.ucla.edu</a><br>
>> >>>> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev" target="_blank">http://www.lists.cs.ucla.edu/<u></u>mailman/listinfo/nfd-dev</a><br>
>> >>><br>
>> >>><br>
>> >>><br>
>> >>> ______________________________<u></u>_________________<br>
>> >>> Nfd-dev mailing list<br>
>> >>> <a href="mailto:Nfd-dev@lists.cs.ucla.edu" target="_blank">Nfd-dev@lists.cs.ucla.edu</a><br>
>> >>> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev" target="_blank">http://www.lists.cs.ucla.edu/<u></u>mailman/listinfo/nfd-dev</a><br>
>> >>><br>
>> > ______________________________<u></u>_________________<br>
>> > Nfd-dev mailing list<br>
>> > <a href="mailto:Nfd-dev@lists.cs.ucla.edu" target="_blank">Nfd-dev@lists.cs.ucla.edu</a><br>
>> > <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev" target="_blank">http://www.lists.cs.ucla.edu/<u></u>mailman/listinfo/nfd-dev</a><br>
>><br>
>><br>
>> ______________________________<u></u>_________________<br>
>> Nfd-dev mailing list<br>
>> <a href="mailto:Nfd-dev@lists.cs.ucla.edu" target="_blank">Nfd-dev@lists.cs.ucla.edu</a><br>
>> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev" target="_blank">http://www.lists.cs.ucla.edu/<u></u>mailman/listinfo/nfd-dev</a><br>
>> ______________________________<u></u>_________________<br>
>> Nfd-dev mailing list<br>
>> <a href="mailto:Nfd-dev@lists.cs.ucla.edu" target="_blank">Nfd-dev@lists.cs.ucla.edu</a><br>
>> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev" target="_blank">http://www.lists.cs.ucla.edu/<u></u>mailman/listinfo/nfd-dev</a><br>
><br>
> ______________________________<u></u>_________________ Nfd-dev mailing list <a href="mailto:Nfd-dev@lists.cs.ucla.edu" target="_blank">Nfd-dev@lists.cs.ucla.edu</a> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev" target="_blank">http://www.lists.cs.ucla.edu/<u></u>mailman/listinfo/nfd-dev</a><br>
> ______________________________<u></u>_________________<br>
> Nfd-dev mailing list<br>
> <a href="mailto:Nfd-dev@lists.cs.ucla.edu" target="_blank">Nfd-dev@lists.cs.ucla.edu</a><br>
> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev" target="_blank">http://www.lists.cs.ucla.edu/<u></u>mailman/listinfo/nfd-dev</a><br>
> ______________________________<u></u>_________________<br>
> Nfd-dev mailing list<br>
> <a href="mailto:Nfd-dev@lists.cs.ucla.edu" target="_blank">Nfd-dev@lists.cs.ucla.edu</a><br>
> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev" target="_blank">http://www.lists.cs.ucla.edu/<u></u>mailman/listinfo/nfd-dev</a><br>
<br>
</blockquote></div></div>