<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
Hi Ilya,<br class="">
<br class="">
Many of the concerns mentioned in section 5 of the Mininet paper about scheduling and performance are addressed in this paper: <a href="https://stacks.stanford.edu/file/druid:zk853sv3422/heller_thesis-augmented.pdf" class="">https://stacks.stanford.edu/file/druid:zk853sv3422/heller_thesis-augmented.pdf</a>,
 and have been implemented in Mininet. But, the paper does recommend smaller experiments with lower bandwidth links in order to help guarantee accurate performance.
<div class=""><br class="">
</div>
<div class="">I’m unsure of the bandwidth requirements of NDN-RTC, but based on the paper, it would be best to limit the topology size in emulation as much as possible.<br class="">
<div class="">
<div class="">
<div style="color: rgb(0, 0, 0); font-family: Helvetica;  font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
<div style="color: rgb(0, 0, 0); font-family: Helvetica; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
<div style="color: rgb(0, 0, 0); font-family: Helvetica; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; direction: ltr;" class="">
<br class="Apple-interchange-newline">
--</div>
<div style="color: rgb(0, 0, 0); font-family: Helvetica; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; direction: ltr;" class="">
Vince Lehman</div>
</div>
</div>
</div>
<br class="">
<div>
<blockquote type="cite" class="">
<div class="">On Mar 1, 2016, at 2:22 PM, Ilya Moiseenko <<a href="mailto:iliamo@mailbox.org" class="">iliamo@mailbox.org</a>> wrote:</div>
<br class="Apple-interchange-newline">
<div class="">
<div class="">
<p class="">For example, in Mininet, it is possible to see >150ms delays on 10 ms links, because either the host or guest operating system has decided that it was a good time to switch to another process.</p>
<p class="">In addition to that, Table 1 says that peak performance of Mininet with just 1 switch is ~500mbits, but NDN forwarder is much much slower than IP switch, and I guess you would like to have at least 3-5 nodes in the topology. I think that Mininet
 is good for testing chat applications, maybe routing protocols, but not for relatively high throughput apps.     </p>
<blockquote type="cite" class="">
<div id="ox-2d1f4323ab" style="word-wrap: break-word;" class="">On March 1, 2016 at 8:45 PM "Lan Wang (lanwang)" <<a href="mailto:lanwang@memphis.edu" class="">lanwang@memphis.edu</a>> wrote:<br class="">
<br class="">
Ilya,
<div class=""><br class="">
</div>
<div class="">Can you elaborate a little what you mean by experiments that depend on precise timing?<br class="">
<div class="">
<div style="font-family: Helvetica; font-size: inherit; font-style: normal; font-variant: normal; font-weight: normal; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; word-wrap: break-word;" class="">
<div style="font-family: Helvetica; font-size: inherit; font-style: normal; font-variant: normal; font-weight: normal; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; word-wrap: break-word;" class="">
<div style="word-wrap: break-word;" class=""><br class="ox-2d1f4323ab-Apple-interchange-newline">
Lan</div>
</div>
</div>
</div>
<br class="">
<div class="">
<div class="">On Mar 1, 2016, at 1:36 PM, Ilya Moiseenko <<a href="mailto:iliamo@mailbox.org" class="">iliamo@mailbox.org</a>> wrote:</div>
<br class="ox-2d1f4323ab-Apple-interchange-newline">
<blockquote type="cite" class="">
<div class="">
<p class="">Hi Jeff,</p>
<p class="">Before anyone puts efforts in Mininet emulation, I suggest to read section 5 and Table 1 of Mininet paper
<a href="http://conferences.sigcomm.org/hotnets/2010/papers/a19-lantz.pdf" class="">
http://conferences.sigcomm.org/hotnets/2010/papers/a19-lantz.pdf</a></p>
<p class="">Mininet is a good tool for achieving protocol correctness, but it's not a good choice for experiments that depend on precise timing.</p>
<p class=""><br class="">
</p>
<p class="">Ilya  </p>
<blockquote type="cite" class="">
<div id="ox-2d1f4323ab-ox-8669a7f5c6" style="word-wrap: break-word; font-size: 14px; font-family: Calibri, sans-serif;" class="">
On February 28, 2016 at 6:38 PM "Burke, Jeff" <<a href="mailto:jburke@remap.ucla.edu" class="">jburke@remap.ucla.edu</a>> wrote:<br class="">
<br class="">
<div class="">
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class="">Hi folks,</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class="">Below I summarize what I think are all of the issues and ideas raised last week about continuing the process of debugging NDN-RTC.   I've created redmine issues for each to aid tracking
 and am hoping to hand over to Peter the coordination process of checking in on all of these in the time between now and the retreat.   It would be great to get feedback from the NFD team on what they can help with - especially on the first few more immediate
 items. </div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><em class=""><br class="">
</em></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><em class="">Please reply within the appropriate redmine issue, if possible, rather than by email.</em> </div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class=""><br class="">
</strong></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><u class=""><span style="color: #007f00;" class=""><strong class="">A. Next tests</strong></span></u></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class=""><br class="">
</strong></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class="">1. March 2 seminar.
</strong>Christos will give the next seminar on March 2.  Anyone at ColoState that might be able to provide support to him in running both NDN-RTC and WebEx at the same time?  Peter, can you follow up with Christos and Steve as a starting point, and try to
 push a new version of NDN-RTC with any things that we want to test?  My suggestion is also to provide only one bandwidth option for each stream, so we see uniform requests across all nodes.  <strong class=""> </strong><a href="http://redmine.named-data.net/issues/3485" class="">http://redmine.named-data.net/issues/3485</a></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class="">2. Test plan. </strong>Peter proposes to put together a methodical testing strategy, using the seminars and other regular meetings as tests of NDN-RTC.  John is already
 helping with this.  <em class="">We would like a single point of contact from the NFD team</em> to act as a liaison for this, and help get questions answers / design an approach.  Who should it be?    <a href="http://redmine.named-data.net/issues/3487" class="">http://redmine.named-data.net/issues/3487</a></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div class=""><span style="font-family: Calibri, sans-serif;" class=""><strong class="">3. Enable ARC detectors.  </strong>Peter,<strong class=""> </strong>I know that we are not ready for incorporating ARC support, and it's not likely to solve current problems,
 but I'm wondering if we could include the congestion detection mechanism and log its behavior, just to see how it does?   </span><a href="http://redmine.named-data.net/issues/3488" class="">http://redmine.named-data.net/issues/3488</a></div>
<div class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><u class=""><span style="color: #007f00;" class=""><strong class="">B. Remaining triage on last test</strong></span></u></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class=""><br class="">
</strong></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class="">1. PIT / name-tree entries.  </strong>After the test on Wednesday, the REMAP node contained nNameTreeEntries=96278, nPitEntries=52185. Can someone help us figure out what
 they are / what caused them so we can try to mitigate?  Or, provide instrumentation to do this after the next test on this coming Wednesday?    <a href="http://redmine.named-data.net/issues/3484" class="">http://redmine.named-data.net/issues/3484</a> 
<strong class="">@Peter</strong>, please let us know what the maximum Interest Lifetime is in NDN-RTC packets ASAP; respond in the redmine thread. </div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class=""><br class="">
</strong></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class="">2. Capture of NFD parameters during the test.</strong>  John, is it possible to do periodic capture of stats like the above – perhaps every few seconds per node? (Or do
 you already do that?)   This would be useful in evaluating these tests and also looking for relevant behavior during the test.  Assignee: WUSTL?  <a href="http://redmine.named-data.net/issues/3486" class="">http://redmine.named-data.net/issues/3486</a></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class="">3. NDN-RTC: Summarize results of internal testing.  </strong>Peter,<strong class=""> </strong>folks need to understand better what we think should work based on the testing
 you and Jiachen did.  Perhaps summarize in bullet-point format what we've learned / observed so far, and where we think there are issues. Assignee: <strong class="">Peter</strong>.  Due: ASAP.  <a href="http://redmine.named-data.net/issues/3483" class="">http://redmine.named-data.net/issues/3483</a> </div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><u class=""><span style="color: #007f00;" class=""><strong class="">C. Application issues</strong></span></u></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class="">1. NDN-RTC: Bandwidth performance.  </strong>Significantly higher bandwidth than expected was observed during the test, and higher than I remember from previous versions.
 Peter, can you let us know to expect for a given stream (in both directions), and breakdown in percentages with its major contributions are?  Also, you may wish to change the menu options to reflect both the media bitrate and the estimated total network traffic
 so people know what to expect.  Assignee: <strong class="">Peter  </strong>Due:<strong class=""> Before next seminar.</strong>  <a href="http://redmine.named-data.net/issues/3478" class="">http://redmine.named-data.net/issues/3478</a></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class="">2. NDN-RTC: Silence suppression</strong>. Several people noted that silence suppression should be incorporate so that audio fetching from silent participants is reduced/eliminated,
 potentially reducing PIT and CPU load.  (We have discussed this before. Though this is an optimization, we should consider fixing it to remove this critique.  This optimization should be something that can be turned on/off in the GUI.)   Assignee: <strong class="">Peter
  </strong>Due: Perhaps before retreat  <a href="http://redmine.named-data.net/issues/3477" class="">http://redmine.named-data.net/issues/3477</a></div>
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><u class=""><span style="color: #007f00;" class=""><strong class="">D. NFD performance</strong></span></u></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><span style="font-style: italic;" class="">The previous section are performance optimizations.  We can do them, but have to know our target: </span></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><span style="font-style: italic;" class=""><br class="">
</span></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class="">1. NFD/Testbed – Acceptable target bandwidth</strong>. Even with inefficiencies in the application, the nominal bandwidths that were observed (~100-500 kbyte/sec) <em class="">should </em>be
 reasonable on the university networks and nodes in questions.  Given that we are being advised to optimize the app, can someone please advise on what are appropriate target bandwidths for the current NFDs running on the current testbed?  <a href="http://redmine.named-data.net/issues/3482" class="">http://redmine.named-data.net/issues/3482</a></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><u class=""><span style="color: #007f00;" class=""><strong class="">E. More NDN-RTC evaluation tools</strong></span></u></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class="">I really hope that we don't have to wait to the hackathon to make progress. Peter (and perhaps Zhehao or Jeff) can help get NDN-RTC running with the simulation/emulation environment desired
 by the NFD team, just let us know which of these should be targeted first. </div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class="">
<div class=""><strong class="">1. Simulation:</strong> <strong class="">Real app</strong>.  Klaus and others would like to be able to simulate NDN-RTC traffic.  Junxiao suggests that ns3 can support external traffic. I'm not sure if this is what Junxiao was
 referring to, but here's a HOWTO - <a href="https://www.nsnam.org/wiki/HOWTO_make_ns-3_interact_with_the_real_world" class="">https://www.nsnam.org/wiki/HOWTO_make_ns–3_interact_with_the_real_world</a>.     <a href="http://redmine.named-data.net/issues/3479" class="">http://redmine.named-data.net/issues/3479</a></div>
<div class=""><strong class=""><br class="">
</strong></div>
<div class=""><strong class="">2. Emulation</strong>.  In addition, it was discussed that NDN-RTC could be run with the Mini-NDN emulation environment. This seems feasible. Does someone from the NFD team want to try, this perhaps in the context of figuring
 out NFD PIT growth issue?    <a href="https://github.com/named-data/mini-ndn" class="">https://github.com/named-data/mini-ndn</a>   <a href="http://redmine.named-data.net/issues/3481" class="">http://redmine.named-data.net/issues/3481</a></div>
<div class=""><br class="">
</div>
<div class=""><strong class="">3. Simulation: traffic generator</strong>.  If the above is not feasible, Lixia suggests a simple traffic generator could also be written.  (See 2/26 17:26 message).   <a href="http://redmine.named-data.net/issues/3480" class="">http://redmine.named-data.net/issues/3480</a></div>
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><u class=""><span style="color: #007f00;" class=""><strong class="">F. Debugging support</strong></span></u></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class="">1. NFD Instrumentation</strong>.  Though it might take time to add, perhaps we can brainstorm about what instrumentation for NFD would help with debugging these types
 of applications, and perhaps come up with short-term ways to achieve it.  Could the NFD team contribute ideas to this and Peter, can you add notes to this on an ongoing basses about what might be useful for NDN-RTC?)   <a href="http://redmine.named-data.net/issues/3476" class="">http://redmine.named-data.net/issues/3476</a></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><u class=""><span style="color: #007f00;" class=""><strong class="">G. Design challenges / Useful mechanisms</strong></span></u></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class=""><br class="">
</strong></div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class="">1. Prioritization</strong>.  For both audio and eventually scalable video traffic, NDN-RTC could make use of the type of one-hop priority mechanism discussed briefly with
 Van a year or so ago.  Can we pursue design and discussion of this?  <a href="http://redmine.named-data.net/issues/3475" class="">http://redmine.named-data.net/issues/3475</a>  [If a design is sketched in the next few weeks, could a trial implementation be
 a hackathon project?]</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><strong class="">2. Congestion control
</strong>work continues in parallel by Klaus.  Lixia suggests that NDN-RTC specific CC mechanisms are not needed, and asked Klaus for a schedule of the work that he plans.  Klaus, could you let us know this in the redmine issue, <strong class=""> </strong><a href="http://redmine.named-data.net/issues/1624" class="">http://redmine.named-data.net/issues/1624</a> 
 [If a design is sketched in the next few weeks, could a trial implementation be a hackathon project?]</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class="">
<div class=""><br class="">
</div>
<div class="">Thanks!</div>
<div class="">Jeff</div>
<div class=""><br class="">
</div>
<div class=""><br class="">
</div>
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""><br class="">
</div>
<div style="font-family: Calibri, sans-serif; font-size: 14px;" class=""> <br class="">
</div>
</div>
</blockquote>
<p class=""><br class="">
 </p>
<blockquote type="cite" class="">_______________________________________________<br class="">
Nfd-dev mailing list<br class="">
<a href="mailto:Nfd-dev@lists.cs.ucla.edu" class="">Nfd-dev@lists.cs.ucla.edu</a><br class="">
<a href="http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev" class="">http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev</a><br class="">
</blockquote>
</div>
_______________________________________________<br class="">
Nfd-dev mailing list<br class="">
<a href="mailto:Nfd-dev@lists.cs.ucla.edu" class="">Nfd-dev@lists.cs.ucla.edu</a><br class="">
<a href="http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev" class="">http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev</a><br class="">
</blockquote>
</div>
<br class="">
</div>
</div>
</blockquote>
<p class=""><br class="">
 </p>
<blockquote type="cite" class="">_______________________________________________<br class="">
Nfd-dev mailing list<br class="">
<a href="mailto:Nfd-dev@lists.cs.ucla.edu" class="">Nfd-dev@lists.cs.ucla.edu</a><br class="">
http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev<br class="">
</blockquote>
</div>
_______________________________________________<br class="">
Nfd-dev mailing list<br class="">
<a href="mailto:Nfd-dev@lists.cs.ucla.edu" class="">Nfd-dev@lists.cs.ucla.edu</a><br class="">
http://www.lists.cs.ucla.edu/mailman/listinfo/nfd-dev<br class="">
</div>
</blockquote>
</div>
<br class="">
</div>
</div>
</body>
</html>