<div dir="ltr"><span style="font-size:12.8px">> Has someone experience with collecting the changed files</span><div><span style="font-size:12.8px">> with a third party tool which detects which </span><span style="font-size:12.8px">files were changed?</span><br style="font-size:12.8px"><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">I don't know of sysdig but am the developer of Lsyncd which does exactly that, collect file changes via inotify event mechanism and then calls rsync with a matching filter mask.</span></div></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">However, since you say, your directory tree is hugh, the main issue is that for every directory an inotify watch must be created, taking about 1KB of kernel memory per watch. If you got a million directories this is a GB of unswapable memory use.</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">Unfortunally the Linux kernel doesn't provide a better way yet, and I suppose other tools like sysdig suffer from the same issue. There is fanotify, but that doesn't report move event and thus is not useable for this task.</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">Kind regards, Axel</span></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Feb 9, 2017 at 10:05 AM, Thomas Güttler <span dir="ltr"><<a href="mailto:guettliml@thomas-guettler.de" target="_blank">guettliml@thomas-guettler.de</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
we have a huge directory tree.<br>
<br>
<br>
 * 17M files (number of files)<br>
 * 2.2TBytes of data.<br>
 * Only 0.1% changes per day<br>
<br>
Current pain: rsyncs directory tree traversal needs to long to discover the changed files. Only few files change.<br>
<br>
I discovered the tool sysdig which could be used to monitor the files which were changed.<br>
<br>
Then we could feed the list of changed files to rsync and avoid the long directory traversal of rsync.<br>
<br>
Has someone experience with collecting the changed files with a third party tool which detects which<br>
files were changed?<br>
<br>
Regards,<br>
 Thomas Güttler<span class="HOEnZb"><font color="#888888"><br>
<br>
<br>
<br>
-- <br>
Thomas Guettler <a href="http://www.thomas-guettler.de/" rel="noreferrer" target="_blank">http://www.thomas-guettler.de/</a><br>
<br>
-- <br>
Please use reply-all for most replies to avoid omitting the mailing list.<br>
To unsubscribe or change options: <a href="https://lists.samba.org/mailman/listinfo/rsync" rel="noreferrer" target="_blank">https://lists.samba.org/mailma<wbr>n/listinfo/rsync</a><br>
Before posting, read: <a href="http://www.catb.org/~esr/faqs/smart-questions.html" rel="noreferrer" target="_blank">http://www.catb.org/~esr/faqs/<wbr>smart-questions.html</a><br>
</font></span></blockquote></div><br></div>