<html><head><meta http-equiv="Content-Type" content="text/html charset=windows-1252"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;">If one publishes a Content Object at 1 GB, that is the unit of retransmission.  what happens when that 1 GB content object hits an access point with a 5% loss rate?  Is the access point really going to cache multiple 1 GB objects?<div><br></div><div>If the unit of retransmission can be a fragment, then I would argue that’s a content object and the 1GB thing is really an aggregation not an atom that must be fragmented on smaller MTU networks.</div><div><br></div><div>Yes, if you have an all-optical network with very low loss rate (including buffer drops) and won’t be hitting anything that needs to fragment, then going with a large MTU might be beneficial.  It remains to be shown that one can do efficient cut-through forwarding of a CCN packet.  Obviously if one is exploiting content object hash naming one cannot do cut-through forwarding because you need to hash before picking the next hop.</div><div><br></div><div>If content objects are 5GB, how much packet memory are you going to need on a typical line card?  At 40 Gbps, a 5 GB packet takes 125 milli-seconds, so you could likely have one arriving on each interface.  Next-gen chipsets are looking at 400 Gbps, so you could have 10x interfaces so you would need at least 50 GB of frame memory?  You clearly are not multiplexing any real-time traffic on those interfaces….</div><div><br></div><div>What would be the use-case for such large packets without fragmentation?  What does such a system look like?</div><div><br></div><div>Marc</div><div><br><div><div>On Sep 20, 2014, at 8:41 PM, Ravi Ravindran <<a href="mailto:ravi.ravindran@gmail.com">ravi.ravindran@gmail.com</a>> wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><meta http-equiv="Content-Type" content="text/html; charset=utf-8"><div dir="ltr">I agree on the 2B length field comment, that should be variable to accommodate ICN interfacing with high speed optical networks, or in general future requirements to ship large (GB) chunks of data.<div><br></div><div>Regards,</div><div>Ravi</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Sep 20, 2014 at 11:15 AM, Tai-Lin Chu <span dir="ltr"><<a href="mailto:tailinchu@gmail.com" target="_blank">tailinchu@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I had thought about these questions, but I want to know your idea<br>
besides typed component:<br>
1. LPM allows "data discovery". How will exact match do similar things?<br>
2. will removing selectors improve performance? How do we use other<br>
faster technique to replace selector?<br>
3. fixed byte length and type. I agree more that type can be fixed<br>
byte, but 2 bytes for length might not be enough for future.<br>
<div class="HOEnZb"><div class="h5"><br>
<br>
On Sat, Sep 20, 2014 at 5:36 AM, Dave Oran (oran) <<a href="mailto:oran@cisco.com">oran@cisco.com</a>> wrote:<br>
><br>
> On Sep 18, 2014, at 9:09 PM, Tai-Lin Chu <<a href="mailto:tailinchu@gmail.com">tailinchu@gmail.com</a>> wrote:<br>
><br>
>>> I know how to make #2 flexible enough to do what things I can envision we need to do, and with a few simple conventions on how the registry of types is managed.<br>
>><br>
>> Could you share it with us?<br>
>><br>
> Sure. Here’s a strawman.<br>
><br>
> The type space is 16 bits, so you have 65,565 types.<br>
><br>
> The type space is currently shared with the types used for the entire protocol, that gives us two options:<br>
> (1) we reserve a range for name component types. Given the likelihood there will be at least as much and probably more need to component types than protocol extensions, we could reserve 1/2 of the type space, giving us 32K types for name components.<br>
> (2) since there is no parsing ambiguity between name components and other fields of the protocol (sine they are sub-types of the name type) we could reuse numbers and thereby have an entire 65K name component types.<br>
><br>
> We divide the type space into regions, and manage it with a registry. If we ever get to the point of creating an IETF standard, IANA has 25 years of experience running registries and there are well-understood rule sets for different kinds of registries (open, requires a written spec, requires standards approval).<br>
><br>
> - We allocate one “default" name component type for “generic name”, which would be used on name prefixes and other common cases where there are no special semantics on the name component.<br>
> - We allocate a range of name component types, say 1024, to globally understood types that are part of the base or extension NDN specifications (e.g. chunk#, version#, etc.<br>
> - We reserve some portion of the space for unanticipated uses (say another 1024 types)<br>
> - We give the rest of the space to application assignment.<br>
><br>
> Make sense?<br>
><br>
><br>
>>> While I’m sympathetic to that view, there are three ways in which Moore’s law or hardware tricks will not save us from performance flaws in the design<br>
>><br>
>> we could design for performance,<br>
> That’s not what people are advocating. We are advocating that we *not* design for known bad performance and hope serendipity or Moore’s Law will come to the rescue.<br>
><br>
>> but I think there will be a turning<br>
>> point when the slower design starts to become "fast enough”.<br>
> Perhaps, perhaps not. Relative performance is what matters so things that don’t get faster while others do tend to get dropped or not used because they impose a performance penalty relative to the things that go faster. There is also the “low-end” phenomenon where impovements in technology get applied to lowering cost rather than improving performance. For those environments bad performance just never get better.<br>
><br>
>> Do you<br>
>> think there will be some design of ndn that will *never* have<br>
>> performance improvement?<br>
>><br>
> I suspect LPM on data will always be slow (relative to the other functions).<br>
> i suspect exclusions will always be slow because they will require extra memory references.<br>
><br>
> However I of course don’t claim to clairvoyance so this is just speculation based on 35+ years of seeing performance improve by 4 orders of magnitude and still having to worry about counting cycles and memory references…<br>
><br>
>> On Thu, Sep 18, 2014 at 5:20 PM, Dave Oran (oran) <<a href="mailto:oran@cisco.com">oran@cisco.com</a>> wrote:<br>
>>><br>
>>> On Sep 18, 2014, at 7:41 PM, Tai-Lin Chu <<a href="mailto:tailinchu@gmail.com">tailinchu@gmail.com</a>> wrote:<br>
>>><br>
>>>> We should not look at a certain chip nowadays and want ndn to perform<br>
>>>> well on it. It should be the other way around: once  ndn app becomes<br>
>>>> popular, a better chip will be designed for ndn.<br>
>>>><br>
>>> While I’m sympathetic to that view, there are three ways in which Moore’s law or hardware tricks will not save us from performance flaws in the design:<br>
>>> a) clock rates are not getting (much) faster<br>
>>> b) memory accesses are getting (relatively) more expensive<br>
>>> c) data structures that require locks to manipulate successfully will be relatively more expensive, even with near-zero lock contention.<br>
>>><br>
>>> The fact is, IP *did* have some serious performance flaws in its design. We just forgot those because the design elements that depended on those mistakes have fallen into disuse. The poster children for this are:<br>
>>> 1. IP options. Nobody can use them because they are too slow on modern forwarding hardware, so they can’t be reliably used anywhere<br>
>>> 2. the UDP checksum, which was a bad design when it was specified and is now a giant PITA that still causes major pain in working around.<br>
>>><br>
>>> I’m afraid students today are being taught the that designers of IP were flawless, as opposed to very good scientists and engineers that got most of it right.<br>
>>><br>
>>>> I feel the discussion today and yesterday has been off-topic. Now I<br>
>>>> see that there are 3 approaches:<br>
>>>> 1. we should not define a naming convention at all<br>
>>>> 2. typed component: use tlv type space and add a handful of types<br>
>>>> 3. marked component: introduce only one more type and add additional<br>
>>>> marker space<br>
>>>><br>
>>> I know how to make #2 flexible enough to do what things I can envision we need to do, and with a few simple conventions on how the registry of types is managed.<br>
>>><br>
>>> It is just as powerful in practice as either throwing up our hands and letting applications design their own mutually incompatible schemes or trying to make naming conventions with markers in a way that is fast to generate/parse and also resilient against aliasing.<br>
>>><br>
>>>> Also everybody thinks that the current utf8 marker naming convention<br>
>>>> needs to be revised.<br>
>>>><br>
>>>><br>
>>>><br>
>>>> On Thu, Sep 18, 2014 at 3:27 PM, Felix Rabe <<a href="mailto:felix@rabe.io">felix@rabe.io</a>> wrote:<br>
>>>>> Would that chip be suitable, i.e. can we expect most names to fit in (the<br>
>>>>> magnitude of) 96 bytes? What length are names usually in current NDN<br>
>>>>> experiments?<br>
>>>>><br>
>>>>> I guess wide deployment could make for even longer names. Related: Many URLs<br>
>>>>> I encounter nowadays easily don't fit within two 80-column text lines, and<br>
>>>>> NDN will have to carry more information than URLs, as far as I see.<br>
>>>>><br>
>>>>><br>
>>>>> On 18/Sep/14 23:15, <a href="mailto:Marc.Mosko@parc.com">Marc.Mosko@parc.com</a> wrote:<br>
>>>>><br>
>>>>> In fact, the index in separate TLV will be slower on some architectures,<br>
>>>>> like the ezChip NP4.  The NP4 can hold the fist 96 frame bytes in memory,<br>
>>>>> then any subsequent memory is accessed only as two adjacent 32-byte blocks<br>
>>>>> (there can be at most 5 blocks available at any one time).  If you need to<br>
>>>>> switch between arrays, it would be very expensive.  If you have to read past<br>
>>>>> the name to get to the 2nd array, then read it, then backup to get to the<br>
>>>>> name, it will be pretty expensive too.<br>
>>>>><br>
>>>>> Marc<br>
>>>>><br>
>>>>> On Sep 18, 2014, at 2:02 PM, <<a href="mailto:Ignacio.Solis@parc.com">Ignacio.Solis@parc.com</a>><br>
>>>>> <<a href="mailto:Ignacio.Solis@parc.com">Ignacio.Solis@parc.com</a>> wrote:<br>
>>>>><br>
>>>>> Does this make that much difference?<br>
>>>>><br>
>>>>> If you want to parse the first 5 components.  One way to do it is:<br>
>>>>><br>
>>>>> Read the index, find entry 5, then read in that many bytes from the start<br>
>>>>> offset of the beginning of the name.<br>
>>>>> OR<br>
>>>>> Start reading name, (find size + move ) 5 times.<br>
>>>>><br>
>>>>> How much speed are you getting from one to the other?  You seem to imply<br>
>>>>> that the first one is faster.  I don¹t think this is the case.<br>
>>>>><br>
>>>>> In the first one you¹ll probably have to get the cache line for the index,<br>
>>>>> then all the required cache lines for the first 5 components.  For the<br>
>>>>> second, you¹ll have to get all the cache lines for the first 5 components.<br>
>>>>> Given an assumption that a cache miss is way more expensive than<br>
>>>>> evaluating a number and computing an addition, you might find that the<br>
>>>>> performance of the index is actually slower than the performance of the<br>
>>>>> direct access.<br>
>>>>><br>
>>>>> Granted, there is a case where you don¹t access the name at all, for<br>
>>>>> example, if you just get the offsets and then send the offsets as<br>
>>>>> parameters to another processor/GPU/NPU/etc.  In this case you may see a<br>
>>>>> gain IF there are more cache line misses in reading the name than in<br>
>>>>> reading the index.   So, if the regular part of the name that you¹re<br>
>>>>> parsing is bigger than the cache line (64 bytes?) and the name is to be<br>
>>>>> processed by a different processor, then your might see some performance<br>
>>>>> gain in using the index, but in all other circumstances I bet this is not<br>
>>>>> the case.   I may be wrong, haven¹t actually tested it.<br>
>>>>><br>
>>>>> This is all to say, I don¹t think we should be designing the protocol with<br>
>>>>> only one architecture in mind. (The architecture of sending the name to a<br>
>>>>> different processor than the index).<br>
>>>>><br>
>>>>> If you have numbers that show that the index is faster I would like to see<br>
>>>>> under what conditions and architectural assumptions.<br>
>>>>><br>
>>>>> Nacho<br>
>>>>><br>
>>>>> (I may have misinterpreted your description so feel free to correct me if<br>
>>>>> I¹m wrong.)<br>
>>>>><br>
>>>>><br>
>>>>> --<br>
>>>>> Nacho (Ignacio) Solis<br>
>>>>> Protocol Architect<br>
>>>>> Principal Scientist<br>
>>>>> Palo Alto Research Center (PARC)<br>
>>>>> <a href="tel:%2B1%28650%29812-4458" value="+16508124458">+1(650)812-4458</a><br>
>>>>> <a href="mailto:Ignacio.Solis@parc.com">Ignacio.Solis@parc.com</a><br>
>>>>><br>
>>>>><br>
>>>>><br>
>>>>><br>
>>>>><br>
>>>>> On 9/18/14, 12:54 AM, "Massimo Gallo" <<a href="mailto:massimo.gallo@alcatel-lucent.com">massimo.gallo@alcatel-lucent.com</a>><br>
>>>>> wrote:<br>
>>>>><br>
>>>>> Indeed each components' offset must be encoded using a fixed amount of<br>
>>>>> bytes:<br>
>>>>><br>
>>>>> i.e.,<br>
>>>>> Type = Offsets<br>
>>>>> Length = 10 Bytes<br>
>>>>> Value = Offset1(1byte), Offset2(1byte), ...<br>
>>>>><br>
>>>>> You may also imagine to have a "Offset_2byte" type if your name is too<br>
>>>>> long.<br>
>>>>><br>
>>>>> Max<br>
>>>>><br>
>>>>> On 18/09/2014 09:27, Tai-Lin Chu wrote:<br>
>>>>><br>
>>>>> if you do not need the entire hierarchal structure (suppose you only<br>
>>>>> want the first x components) you can directly have it using the<br>
>>>>> offsets. With the Nested TLV structure you have to iteratively parse<br>
>>>>> the first x-1 components. With the offset structure you cane directly<br>
>>>>> access to the firs x components.<br>
>>>>><br>
>>>>> I don't get it. What you described only works if the "offset" is<br>
>>>>> encoded in fixed bytes. With varNum, you will still need to parse x-1<br>
>>>>> offsets to get to the x offset.<br>
>>>>><br>
>>>>><br>
>>>>><br>
>>>>> On Wed, Sep 17, 2014 at 11:57 PM, Massimo Gallo<br>
>>>>> <<a href="mailto:massimo.gallo@alcatel-lucent.com">massimo.gallo@alcatel-lucent.com</a>> wrote:<br>
>>>>><br>
>>>>> On 17/09/2014 14:56, Mark Stapp wrote:<br>
>>>>><br>
>>>>> ah, thanks - that's helpful. I thought you were saying "I like the<br>
>>>>> existing NDN UTF8 'convention'." I'm still not sure I understand what<br>
>>>>> you<br>
>>>>> _do_ prefer, though. it sounds like you're describing an entirely<br>
>>>>> different<br>
>>>>> scheme where the info that describes the name-components is ...<br>
>>>>> someplace<br>
>>>>> other than _in_ the name-components. is that correct? when you say<br>
>>>>> "field<br>
>>>>> separator", what do you mean (since that's not a "TL" from a TLV)?<br>
>>>>><br>
>>>>> Correct.<br>
>>>>> In particular, with our name encoding, a TLV indicates the name<br>
>>>>> hierarchy<br>
>>>>> with offsets in the name and other TLV(s) indicates the offset to use<br>
>>>>> in<br>
>>>>> order to retrieve special components.<br>
>>>>> As for the field separator, it is something like "/". Aliasing is<br>
>>>>> avoided as<br>
>>>>> you do not rely on field separators to parse the name; you use the<br>
>>>>> "offset<br>
>>>>> TLV " to do that.<br>
>>>>><br>
>>>>> So now, it may be an aesthetic question but:<br>
>>>>><br>
>>>>> if you do not need the entire hierarchal structure (suppose you only<br>
>>>>> want<br>
>>>>> the first x components) you can directly have it using the offsets.<br>
>>>>> With the<br>
>>>>> Nested TLV structure you have to iteratively parse the first x-1<br>
>>>>> components.<br>
>>>>> With the offset structure you cane directly access to the firs x<br>
>>>>> components.<br>
>>>>><br>
>>>>> Max<br>
>>>>><br>
>>>>><br>
>>>>> -- Mark<br>
>>>>><br>
>>>>> On 9/17/14 6:02 AM, Massimo Gallo wrote:<br>
>>>>><br>
>>>>> The why is simple:<br>
>>>>><br>
>>>>> You use a lot of "generic component type" and very few "specific<br>
>>>>> component type". You are imposing types for every component in order<br>
>>>>> to<br>
>>>>> handle few exceptions (segmentation, etc..). You create a rule<br>
>>>>> (specify<br>
>>>>> the component's type ) to handle exceptions!<br>
>>>>><br>
>>>>> I would prefer not to have typed components. Instead I would prefer<br>
>>>>> to<br>
>>>>> have the name as simple sequence bytes with a field separator. Then,<br>
>>>>> outside the name, if you have some components that could be used at<br>
>>>>> network layer (e.g. a TLV field), you simply need something that<br>
>>>>> indicates which is the offset allowing you to retrieve the version,<br>
>>>>> segment, etc in the name...<br>
>>>>><br>
>>>>><br>
>>>>> Max<br>
>>>>><br>
>>>>><br>
>>>>><br>
>>>>><br>
>>>>><br>
>>>>> On 16/09/2014 20:33, Mark Stapp wrote:<br>
>>>>><br>
>>>>> On 9/16/14 10:29 AM, Massimo Gallo wrote:<br>
>>>>><br>
>>>>> I think we agree on the small number of "component types".<br>
>>>>> However, if you have a small number of types, you will end up with<br>
>>>>> names<br>
>>>>> containing many generic components types and few specific<br>
>>>>> components<br>
>>>>> types. Due to the fact that the component type specification is an<br>
>>>>> exception in the name, I would prefer something that specify<br>
>>>>> component's<br>
>>>>> type only when needed (something like UTF8 conventions but that<br>
>>>>> applications MUST use).<br>
>>>>><br>
>>>>> so ... I can't quite follow that. the thread has had some<br>
>>>>> explanation<br>
>>>>> about why the UTF8 requirement has problems (with aliasing, e.g.)<br>
>>>>> and<br>
>>>>> there's been email trying to explain that applications don't have to<br>
>>>>> use types if they don't need to. your email sounds like "I prefer<br>
>>>>> the<br>
>>>>> UTF8 convention", but it doesn't say why you have that preference in<br>
>>>>> the face of the points about the problems. can you say why it is<br>
>>>>> that<br>
>>>>> you express a preference for the "convention" with problems ?<br>
>>>>><br>
>>>>> Thanks,<br>
>>>>> Mark<br>
>>>>><br>
>>>>> .<br>
>>>>><br>
>>>>> _______________________________________________<br>
>>>>> Ndn-interest mailing list<br>
>>>>> <a href="mailto:Ndn-interest@lists.cs.ucla.edu">Ndn-interest@lists.cs.ucla.edu</a><br>
>>>>> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest" target="_blank">http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest</a><br>
>>>>><br>
>>>>> _______________________________________________<br>
>>>>> Ndn-interest mailing list<br>
>>>>> <a href="mailto:Ndn-interest@lists.cs.ucla.edu">Ndn-interest@lists.cs.ucla.edu</a><br>
>>>>> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest" target="_blank">http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest</a><br>
>>>>><br>
>>>>> _______________________________________________<br>
>>>>> Ndn-interest mailing list<br>
>>>>> <a href="mailto:Ndn-interest@lists.cs.ucla.edu">Ndn-interest@lists.cs.ucla.edu</a><br>
>>>>> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest" target="_blank">http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest</a><br>
>>>>><br>
>>>>><br>
>>>>><br>
>>>>> _______________________________________________<br>
>>>>> Ndn-interest mailing list<br>
>>>>> <a href="mailto:Ndn-interest@lists.cs.ucla.edu">Ndn-interest@lists.cs.ucla.edu</a><br>
>>>>> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest" target="_blank">http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest</a><br>
>>>>><br>
>>>>><br>
>>>>><br>
>>>>> _______________________________________________<br>
>>>>> Ndn-interest mailing list<br>
>>>>> <a href="mailto:Ndn-interest@lists.cs.ucla.edu">Ndn-interest@lists.cs.ucla.edu</a><br>
>>>>> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest" target="_blank">http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest</a><br>
>>>>><br>
>>>><br>
>>>> _______________________________________________<br>
>>>> Ndn-interest mailing list<br>
>>>> <a href="mailto:Ndn-interest@lists.cs.ucla.edu">Ndn-interest@lists.cs.ucla.edu</a><br>
>>>> <a href="http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest" target="_blank">http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest</a><br>
>>><br>
><br>
<br>
_______________________________________________<br>
Ndn-interest mailing list<br>
<a href="mailto:Ndn-interest@lists.cs.ucla.edu">Ndn-interest@lists.cs.ucla.edu</a><br>
<a href="http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest" target="_blank">http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest</a><br>
</div></div></blockquote></div><br></div>
_______________________________________________<br>Ndn-interest mailing list<br><a href="mailto:Ndn-interest@lists.cs.ucla.edu">Ndn-interest@lists.cs.ucla.edu</a><br>http://www.lists.cs.ucla.edu/mailman/listinfo/ndn-interest<br></blockquote></div><br></div></body></html>