<div dir="ltr"><br><div class="gmail_quote"><br><br><br>> If rsync isn't doing the networking you are better off with cp -au<br>> instead of rsync.  It should be significantly faster and you can do a<br>> final pass with rsync to get any files that got truncated by a ^C (cp<br>> can only skip files that are newer not files that are not different and<br>> a truncated file will be newer since it never got back-dated).</div><div class="gmail_quote"><br></div><div class="gmail_quote">Thanks, I will run some tests.  Is there any performance increase from allowing rsync doing the networking?  <br>
<span class=""><br>
>>      rsync -av --no-perms --no-owner --no-group /old/storage/dir<br>
>> /new/storage/directory/dir<br>
<br>
</span>> Note that rsync treats a trailing / on the source parameter differently.<br>> If you did rsync ... /old/storage/dir /new/storage/dir then you made<br>> /new/storage/dir/dir and duplicated everything into it.  The correct<br>> syntax is rsync ... /old/storage/dir/ /new/storage/dir OR rsync ...<br>> /old/storage/dir /new/storage</div><div class="gmail_quote"><br></div><div class="gmail_quote">Yes, I just typed it wrong in the example..<br>
<div class="HOEnZb"><div class="h5"><br><br></div><div class="h5"><br></div><div class="h5"><br></div><div class="h5">
On 10/18/2017 05:00 PM, Herb Burnswell via rsync wrote:<br>
> All,<br>
><br>
> I am seeding a new storage environment (Glusterfs on XFS) and would like<br>
> to gather advise on best practices.  This data is primarily all media<br>
> data, so not good with compression.<br>
><br>
> I currently have made one pass on at 20TB directory tree into the<br>
> environment as:<br>
><br>
> - nfs mount from old storage to new storage<br>
> - rsync -av /old/storage/* /new/storage/directory<br>
><br>
> Once the directories and files were on the new storage, I did:<br>
><br>
> - chown -R root:root<br>
> - chmod -R 774<br>
><br>
> I'll need to do a couple more sync's prior to full cut over.<br>
><br>
> Questions regarding performance:<br>
><br>
> - Does anyone have any suggestions on how to achieve the best performace<br>
> (speed)?<br>
><br>
>      - Is a local NFS mount from old storage to new storage the best<br>
> option?  If so are there specific mount options that should be used?<br>
>      - Any specific rsync flags (I've tested with and without 'z' flag<br>
> and it does not help with this data) or best practices?<br>
><br>
> Questions regarding rsync behavior:<br>
><br>
> - When I test individual directory resync's within the initial ingest<br>
> tree, a command such as:<br>
><br>
>      rsync -av --no-perms --no-owner --no-group /old/storage/dir<br>
> /new/storage/directory/dir<br>
><br>
>  Lists all of the directories under 'dir' in the shell.  But if I rerun<br>
> the command immediately thereafter, nothing is listed in the shell. <br>
> Where is this 'metadata' of what is 'already on the destination'<br>
> stored?  Is it only stored while the shell is open?  I want to set up a<br>
> cron job moving forward and would like to make sure all info is available.<br>
><br>
> Any guidance is greatly appreciated.<br>
><br>
> Thanks in advance,<br>
><br>
> HB<br>
><br>
><br>
><br>
><br>
<br>
</div></div><span class="HOEnZb"><font color="#888888">--<br>
~*-,._.,-*~'`^`'~*-,._.,-*~'`^<wbr>`'~*-,._.,-*~'`^`'~*-,._.,-*~'<wbr>`^`'~*-,._.,<br>
        Kevin Korb                      Phone:    <a href="tel:%28407%29%20252-6853" value="+14072526853">(407) 252-6853</a><br>
        Systems Administrator           Internet:<br>
        FutureQuest, Inc.               Kevin@FutureQuest.net  (work)<br>
        Orlando, Florida                <a href="mailto:kmk@sanitarium.net">kmk@sanitarium.net</a> (personal)<br>
        Web page:                       <a href="http://www.sanitarium.net/" rel="noreferrer" target="_blank">http://www.sanitarium.net/</a><br>
        PGP public key available on web site.<br>
~*-,._.,-*~'`^`'~*-,._.,-*~'`^<wbr>`'~*-,._.,-*~'`^`'~*-,._.,-*~'<wbr>`^`'~*-,._.,<br>
<br>
</font></span><br>--<br>
Please use reply-all for most replies to avoid omitting the mailing list.<br>
To unsubscribe or change options: <a href="https://lists.samba.org/mailman/listinfo/rsync" rel="noreferrer" target="_blank">https://lists.samba.org/<wbr>mailman/listinfo/rsync</a><br>
Before posting, read: <a href="http://www.catb.org/~esr/faqs/smart-questions.html" rel="noreferrer" target="_blank">http://www.catb.org/~esr/faqs/<wbr>smart-questions.html</a><br></div><br></div>