<div dir="ltr">Hi Jinxiao,<div><br></div><div>Thanks for your answer. Also, thank you Susmit for confirming our issue.</div><div>I will probably repeat, but I don't think that we have any problem with memory on our side.</div><div>Even before memory upgrade, we had 5~6GB free (out of 12GB) in a moment of error.</div><div><br></div><div>Concerning the repo-sql, I will try it. But I think that might be not a good option for us.</div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><span style="color:rgb(0,0,0);font-family:Arial,Tahoma,Verdana,sans-serif;font-size:13.3333330154419px;line-height:18.2000007629395px">Best Regards,</span><br><div><span style="color:rgb(0,0,0);font-family:Arial,Tahoma,Verdana,sans-serif;font-size:13.3333330154419px;line-height:18.2000007629395px">Alexander Ni</span></div><div><span style="color:rgb(0,0,0);font-family:Arial,Tahoma,Verdana,sans-serif;font-size:13.3333330154419px;line-height:18.2000007629395px"><br></span></div></div></div></div></div></div>
<br><div class="gmail_quote">On Fri, Jun 30, 2017 at 2:07 AM, Susmit <span dir="ltr"><<a href="mailto:susmit@cs.colostate.edu" target="_blank">susmit@cs.colostate.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Junxiao,<br>
<br>
I can confirm that this is not related to memory. I have upgraded the<br>
machine today and it now has 48GB RAM.<br>
<br>
I tried what Alexander said and the crash still happens. I think they<br>
have a deadline coming up and are scrambling to fix this, so any help<br>
is appreciated.<br>
<br>
I looked at the log and I am not sure what's causing this either. For<br>
ruling out malformed data, I create a 1M file and published it.<br>
<br>
head -c 1M < /dev/urandom > test_file.txt<br>
ndnputfile ndn:/kisti/atmos<br>
/kisti/atmos/hur_Amon_CESM1-<wbr>CAM5_rcp60_r1i1p1_200601-<wbr><a href="http://204912.nc/test">204912.nc/test</a><br>
test_file.txt<br>
ndncatchunks /kisti/atmos/hur_Amon_CESM1-<wbr>CAM5_rcp60_r1i1p1_200601-<wbr><a href="http://204912.nc/test">204912.nc/test</a><br>
<br>
And exactly the same crash happens.<br>
<br>
Thanks.<br>
<div class="HOEnZb"><div class="h5"><br>
<br>
On Thu, Jun 29, 2017 at 10:39 AM, Junxiao Shi<br>
<<a href="mailto:shijunxiao@email.arizona.edu">shijunxiao@email.arizona.edu</a>> wrote:<br>
> Hi Alexander<br>
><br>
> The process is probably running out of memory. repo-ng keeps the whole index<br>
> in memory, and cannot handle large datasets.<br>
> repo-ng currently does not have a maintainer, and I'm unfamiliar with its<br>
> internals.<br>
><br>
> Have a try with repo-sql <a href="https://github.com/3rd-ndn-hackathon/repo-sql" rel="noreferrer" target="_blank">https://github.com/3rd-ndn-<wbr>hackathon/repo-sql</a> which<br>
> places the index in a PostgreSQL database. It is designed to handle large<br>
> dataset although it's not tested.<br>
> Use repo-sql-insert command to insert. It does not support TCP bulk insert<br>
> protocol or repo-ng protocol.<br>
> All Interest selectors except Exclude are supported.<br>
><br>
> Yours, Junxiao<br>
><br>
> On Thu, Jun 29, 2017 at 09:19 Alexander Ni <<a href="mailto:alexni1992@gmail.com">alexni1992@gmail.com</a>> wrote:<br>
>><br>
>> Hello,<br>
>><br>
>> We moved 0.5.1 version as you recommended.<br>
>> At exact same procedure, we now have a different error.<br>
>> Segmentation fault (core dumped)<br>
>> I attached the gdb backtrace.<br>
>><br>
>><br>
><br>
<br>
<br>
<br>
</div></div><span class="HOEnZb"><font color="#888888">--<br>
<br>
==============================<wbr>======<br>
<a href="http://www.cs.colostate.edu/~susmit" rel="noreferrer" target="_blank">http://www.cs.colostate.edu/~<wbr>susmit</a><br>
==============================<wbr>======<br>
</font></span></blockquote></div><br></div>