<div dir="ltr">Kevin:<div><br></div><div>(your reply did finally show up)</div><div><br></div><div>On Tue, Mar 11, 2014 at 6:20 PM, Kevin Korb <span dir="ltr"><<a href="mailto:kmk@sanitarium.net" target="_blank">kmk@sanitarium.net</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"></blockquote></div><div>>OK, in that case you should try using --ignore-times instead<br>
>- --checksum.  With --ignore-times rsync will redo the delta transfer of<br>>all files.  This is usually faster than --checksum and won't cause<br>>much additional data transfer.<br>><br>>Unless --whole-file is in play.<br>
</div><div><br></div><div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">If I use --ignore-times then every file will be checksummed via the normal</div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">
mechanism (per "<a href="http://rsync.samba.org/how-rsync-works.html" target="_blank">http://rsync.samba.org/how-rsync-works.html</a>").  The point</div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">
of my proposal was to prevent all of the checksum work (I/O,CPU) at the time</div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">of copy by pre-computing the whole-file checksums for comparison.  Yes,</div>
<div style="font-family:arial,sans-serif;font-size:12.727272033691406px">this means using the --checksum option, but then most of the work done by the</div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">
generator and sender in computing block checksums can be skipped at the</div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">time of sync simply by comparing the whole-file checksums and matching.</div>
<div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><br></div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">My goal is to spread out the I/O and CPU intensive portions of the sync to</div>
<div style="font-family:arial,sans-serif;font-size:12.727272033691406px">"before" the actual invocation-to-sync is made.  Cache validation is as I</div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">
described - although possibly adding in 64-bit ctime to the mix would catch</div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">even those trying to fake non-modification by reseting the 64-bit mtime (a</div>
<div style="font-family:arial,sans-serif;font-size:12.727272033691406px">trick noted in <a href="https://lists.samba.org/archive/rsync/2011-August/026676.html" target="_blank">https://lists.samba.org/archive/rsync/2011-August/026676.html</a>).</div>
<div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><br></div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">That last URL was a find by one of my co-workers.  Now I need to go track</div>
<div style="font-family:arial,sans-serif;font-size:12.727272033691406px">the "db.diff" patch that Wayne notes and see if I can tweak it to do the 64-bit</div><div style="font-family:arial,sans-serif;font-size:12.727272033691406px">
stuff and so on.</div></div><div><br></div><div>Thank you.</div><div><br></div><div>Doug</div><div class="gmail_extra">-- <br><div dir="ltr"><div>Doug Robinson</div><div><div style="color:rgb(80,0,80)"><div dir="ltr" style="color:rgb(34,34,34)">
<font color="#666666"><br>WANdisco</font> <font color="#ff9900">//</font> <i><font color="#666666">Non-Stop Data</font></i></div></div><div><div dir="ltr"></div></div></div><div><div><a value="+447966783417" style="color:rgb(17,85,204)"><br>
</a></div><div><font color="#cccccc">t.</font><font color="#999999"> </font><a value="+447966783417" style="color:rgb(17,85,204)">925-396-1125</a></div><div><font color="#cccccc">e. </font><a href="mailto:doug.robinson@wandisco.com" style="font-size:small;color:rgb(17,85,204)" target="_blank">doug.robinson@wandisco.com</a><br>
</div></div></div>
</div></div>

<br>
<div style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13.513513565063477px;background-color:rgb(255,255,255)"><p style="font-size:13.333333015441895px">Join us in New York and San Francisco for <a href="http://www.wandisco.com/subversion-git-live-2014" style="color:rgb(17,85,204)" target="_blank">Subversion & Git Live 2014</a></p><p style="font-size:13.333333015441895px">Listed on the London Stock Exchange: <a href="http://www.bloomberg.com/quote/WAND:LN" style="color:rgb(17,85,204)" target="_blank">WAND</a></p><p style="font-size:13.333333015441895px"></p><p style="font-size:13.333333015441895px"><font color="#999999" size="1">THIS MESSAGE AND ANY ATTACHMENTS ARE CONFIDENTIAL, PROPRIETARY, AND MAY BE PRIVILEGED.  If this message was misdirected, WANdisco, Inc. and its subsidiaries, ("WANdisco") does not waive any confidentiality or privilege.  If you are not the intended recipient, please notify us immediately and destroy the message without disclosing its contents to anyone.  Any distribution, use or copying of this e-mail or the information it contains by other than an intended recipient is unauthorized.  The views and opinions expressed in this e-mail message are the author's own and may not reflect the views and opinions of WANdisco, unless the author is authorized by WANdisco to express such views or opinions on its behalf.  All email sent to or from this address is subject to electronic storage and review by WANdisco.  Although WANdisco operates anti-virus programs, it does not accept responsibility for any damage whatsoever caused by viruses being passed.</font></p></div>