<div dir="ltr"><span style="font-size:12.8000001907349px">Hi Roland,</span><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">Thanks for the reply. Memory usage on both machines seem fine. The server has 4GB's of RAM, of which about 3GB is used during the file list build and about 1.5GB is used during the actual transfer. The client has 16GB of RAM with a peak usage of 8.5GB. </div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">I just tried three transfers in a row and it consistently breaks at a certain point, after which I get the "ERROR: out of memory in flist_expand [sender]" error. There is not much special to mention regarding the file on which it breaks: it's a 22KB JPEG file with no special attributes.</div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">The backup server is running Debian 7.8, the client runs on CentOS 5.11.</div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">A `find . | wc -l` in the backup directory results in 7434013 files.</div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature">--<br>Best regards / Met vriendelijke groet,<br><br>Aron Rotteveel</div></div>
<br><div class="gmail_quote">2015-03-19 20:10 GMT+01:00  <span dir="ltr"><<a href="mailto:devzero@web.de" target="_blank">devzero@web.de</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div style="font-family:Verdana;font-size:12.0px"><div>
<div>Hi Aron,</div>

<div> </div>

<div>i hope it`s ok for you if i bring this back on-list. Your issue and the way or possible fix to resolve it may be interesting for others too (that may include future searches etc)</div>

<div> </div>

<div>so with 3.1.1 we are a step further....</div>

<div> </div>

<div>i don`t really have a clue what`s happening here but my next step would be taking a closer look on how the memory usage of rsync on the client and server grows.</div>

<div> </div>

<div>you could log it like this:</div>

<div>
<div>while true;do ps -eo vsz,rss,sz,rsync|grep cron;sleep 10;done >logfile</div>

<div> </div>
</div>

<div>does it grow continuously? does the oom situation reproducibly happen at a certain size ?</div>

<div>what`s the client and server platform?</div>

<div>how many files? (-> <a href="https://rsync.samba.org/FAQ.html#5" target="_blank">https://rsync.samba.org/FAQ.html#5</a> ! )</div>

<div> </div>

<div>regards</div>

<div>roland</div>

<div> </div>

<div>
<div style="margin:10.0px 5.0px 5.0px 10.0px;padding:10.0px 0 10.0px 10.0px;border-left:2.0px solid rgb(195,217,229)">
<div style="margin:0 0 10.0px 0"><b>Gesendet:</b> Donnerstag, 19. März 2015 um 12:24 Uhr<br>
<b>Von:</b> "Aron Rotteveel" <<a href="mailto:rotteveel.aron@gmail.com" target="_blank">rotteveel.aron@gmail.com</a>><br>
<b>An:</b> <a href="mailto:devzero@web.de" target="_blank">devzero@web.de</a><br>
<b>Betreff:</b> Re: rsync 3.0.9 segmentation fault</div><div><div class="h5">

<div>
<div>In addition to my last message:
<div>
<ul>
        <li>Client (sender) has 16GB's or RAM, of which only 6.5GB is used during peak.</li>
        <li>I tried using --no-inc-recursive, but it does not solve the issue.</li>
</ul>

<div>What currrently is puzzling me is the question of why I am receiving these errors when my server seems to have plenty of memory to spare.</div>
</div>
</div>

<div class="gmail_extra"> 
<div>
<div>--<br>
Best regards / Met vriendelijke groet,<br>
<br>
Aron Rotteveel</div>
</div>
 

<div class="gmail_quote">2015-03-19 11:52 GMT+01:00 Aron Rotteveel <span><<a>rotteveel.aron@gmail.com</a>></span>:

<blockquote class="gmail_quote" style="margin:0 0 0 0.8ex;border-left:1.0px rgb(204,204,204) solid;padding-left:1.0ex">
<div>Hi Roland,
<div> </div>

<div>I just upgrade both the client and host to 3.1.1 and seem to memory related issues now:</div>

<div> </div>

<div>
<div>ERROR: out of memory in make_file [sender]</div>

<div>rsync error: error allocating core memory buffers (code 22) at util2.c(102) [sender=3.1.1]</div>

<div>[sender] _exit_cleanup(code=22, file=util2.c, line=102): about to call exit(22)</div>

<div>[Receiver] _exit_cleanup(code=22, file=io.c, line=1633): about to call exit(22)</div>

<div><span>----------------------------------------------------------------------------</span></div>

<div><span>rsnapshot encountered an error! The program was invoked with these options:</span></div>

<div><span>/usr/bin/rsnapshot -c \</span></div>

<div><span>    /home/remotebackup/hosts/<redacted>/rsnapshot.conf sync</span></div>

<div><span>----------------------------------------------------------------------------</span></div>
</div>
</div>

<div class="gmail_extra"> 
<div>
<div><span>--<br>
Best regards / Met vriendelijke groet,<br>
<br>
Aron Rotteveel</span></div>
</div>
 

<div>
<div>
<div class="gmail_quote">2015-03-18 23:43 GMT+01:00 <span><<a>devzero@web.de</a>></span>:

<blockquote class="gmail_quote" style="margin:0 0 0 0.8ex;border-left:1.0px rgb(204,204,204) solid;padding-left:1.0ex">
<div>
<div style="font-family:Verdana;font-size:12.0px">
<div>
<div>Hi,</div>

<div> </div>

<div>rsync 3.0.9 is quite ancient, more than 3 years old. A lot of bugs have been fixed since then.</div>

<div> </div>

<div>Is there a chance to update to the latest rsync version and retry with that ?</div>

<div> </div>

<div>regards</div>

<div>Roland</div>

<div> 
<div style="margin:10.0px 5.0px 5.0px 10.0px;padding:10.0px 0 10.0px 10.0px;border-left:2.0px solid rgb(195,217,229)">
<div style="margin:0 0 10.0px 0"><b>Gesendet:</b> Dienstag, 17. März 2015 um 11:51 Uhr<br>
<b>Von:</b> "Aron Rotteveel" <<a>rotteveel.aron@gmail.com</a>><br>
<b>An:</b> <a>rsync@lists.samba.org</a><br>
<b>Betreff:</b> rsync 3.0.9 segmentation fault</div>

<div>
<div>
<div>
<div><span style="font-size:12.8px">Hi,</span>

<div style="font-size:12.8px"> </div>

<div style="font-size:12.8px">I am experiencing segfaults when transferring files via rsync though sudo.</div>

<div style="font-size:12.8px">Setup:</div>

<div style="font-size:12.8px"> </div>

<div style="font-size:12.8px">- Backupserver initiates the rsync command with --delete -vvv --no-inc-recursive --numeric-ids --delete-excluded --relative --rsync-path=/home/backupuser/rsync-wrapper.sh</div>

<div style="font-size:12.8px">- rsync-wrapper.sh (on the client) contains /usr/bin/sudo /usr/bin/rsync "$@";</div>

<div style="font-size:12.8px">- user "backupuser" has sudo access to the rsync command</div>

<div style="font-size:12.8px">- Both host and client are running 3.0.9</div>

<div style="font-size:12.8px"> </div>

<div style="font-size:12.8px">The transfer starts and some files are actually transferred. Once a certain file is reached (plain PHP file, no special characters or any other peculiarities) it segfaults.</div>

<div style="font-size:12.8px"> </div>

<div style="font-size:12.8px">rsync host output:</div>

<div style="font-size:12.8px"> </div>

<div style="font-size:12.8px">
<div>[sender] make_file(<redacted>/libraries/phputf8/mbstring/strlen.php,*,2)</div>

<div>rsync: connection unexpectedly closed (51261222 bytes received so far) [Receiver]</div>

<div>rsync error: unexplained error (code 139) at io.c(605) [Receiver=3.0.9]</div>

<div>[Receiver] _exit_cleanup(code=12, file=io.c, line=605): about to call exit(139)</div>

<div>----------------------------------------------------------------------------</div>

<div>rsnapshot encountered an error! The program was invoked with these options:</div>

<div>/usr/bin/rsnapshot -c \</div>

<div>    /home/remotebackup/hosts/<redacted>/rsnapshot.conf sync</div>

<div>----------------------------------------------------------------------------</div>

<div>ERROR: /usr/bin/rsync returned 139 while processing backupuser@<redacted>:/backup/</div>
</div>

<div style="font-size:12.8px"> </div>

<div style="font-size:12.8px">Client output when using gdb to debug the coredump:</div>

<div style="font-size:12.8px"> </div>

<div style="font-size:12.8px">
<div>warning: no loadable sections found in added symbol-file system-supplied DSO at 0x7fff015fd000</div>

<div>Core was generated by `/usr/bin/rsync --server --sender -vvvlogDtprRe.Lsf --numeric-ids . /backup'.</div>

<div>Program terminated with signal 11, Segmentation fault.</div>

<div>#0  0x00000035cda7b441 in memcpy () from /lib64/libc.so.6</div>

<div> </div>
</div>

<div style="font-size:12.8px">Any help would be greatly appreciated. Please let me know if additional info is required to properly debug this issue.</div>

<div>
<div>--<br>
Best regards / Met vriendelijke groet,<br>
<br>
Aron Rotteveel</div>
</div>
</div>
</div>
</div>
-- Please use reply-all for most replies to avoid omitting the mailing list. To unsubscribe or change options: <a href="https://lists.samba.org/mailman/listinfo/rsync" target="_blank">https://lists.samba.org/mailman/listinfo/rsync</a> Before posting, read: <a href="http://www.catb.org/~esr/faqs/smart-questions.html" target="_blank">http://www.catb.org/~esr/faqs/smart-questions.html</a></div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div></div></div>
</div>
</div></div></div>
</blockquote></div><br></div>