OK it is the text dump, uncompressed, looks like the new maint. plan does a rebuild index then a reorganize index. Of course I do not know a lot about SQL, but when I watch the rsync run most of the data is generated in the last 25% of the run, I know the data is the same in there but maybe now it is not in the same order or something. I tried the --fuzzy option that that helped a small amount about 2% in size. I mostly wanted to try the block-size but if there is a better option I am all for it, the bad thing is it takes 4 hrs per run.<br>
Thanks<br> <br><br><div class="gmail_quote">On Thu, Feb 28, 2013 at 3:32 PM, Kevin Korb <span dir="ltr"><<a href="mailto:kmk@sanitarium.net" target="_blank">kmk@sanitarium.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
-----BEGIN PGP SIGNED MESSAGE-----<br>
Hash: SHA1<br>
<br>
When you say an SQL database dump do you mean you are rsyncing the raw<br>
text file or are you compressing it?  If you are compressing it you<br>
might want to try gzip with the --rsyncable patch as it can<br>
significantly improve rsync's ability to delta-xfer compressed files.<br>
<br>
Also, what do you mean by reindex?  That doesn't sound like something<br>
that should affect the dumps unless you are dumping something that<br>
would be easier to regenerate after a restore.<br>
<div><div class="h5"><br>
On 02/28/13 14:37, Jarrid Graham wrote:<br>
> I have been using rsync to sync a SQL database dump(127GB in size)<br>
> on a server (cygwin to linux) for many years now w/o a problem,<br>
> until they put a maintence plan to reindex the database once a<br>
> week. This is all done over a 2Mbit link normally took 3-4 hrs now<br>
> I noticed it was running the next day and took days so I looked<br>
> into it more. After I discovered the --only-write-batch it makes a<br>
> 52 GB file, even hitting it with 7z it only gets down to 5G plus it<br>
> makes it harder to script the process. Then I got to fooling around<br>
> with the -B option and found on a smaller test database that when I<br>
> get to -B1024 it make the smallest file so I tried that. I get an<br>
> Out of memory error in receive_sums so I back it off and when I get<br>
> to about -B5120 it is good but only makes the file 36GB. I was<br>
> wondering is there a hard limit, the machine has tons of free ram,<br>
> the program used 1.1GB of RAM at -B5120,the version is 3.0.9-1 in<br>
> cygwin on the sender via an ssh connection. One other thing I<br>
> thought about but I don't see that you can is if you could the<br>
> --only-write-batch and read batches to/from stdout so I could 7z<br>
> them in line I know you can gzip with the -z option and even<br>
> setting the level to 9 I still get about %25 better compression<br>
> with 7z but everything adds another level of complexity.<br>
><br>
> Thanks, Jarrid Graham<br>
><br>
><br>
><br>
<br>
</div></div>- --<br>
~*-,._.,-*~'`^`'~*-,._.,-*~'`^`'~*-,._.,-*~'`^`'~*-,._.,-*~'`^`'~*-,._.,-*~<br>
        Kevin Korb                      Phone:    <a href="tel:%28407%29%20252-6853" value="+14072526853">(407) 252-6853</a><br>
        Systems Administrator           Internet:<br>
        FutureQuest, Inc.               Kevin@FutureQuest.net  (work)<br>
        Orlando, Florida                <a href="mailto:kmk@sanitarium.net">kmk@sanitarium.net</a> (personal)<br>
        Web page:                       <a href="http://www.sanitarium.net/" target="_blank">http://www.sanitarium.net/</a><br>
        PGP public key available on web site.<br>
~*-,._.,-*~'`^`'~*-,._.,-*~'`^`'~*-,._.,-*~'`^`'~*-,._.,-*~'`^`'~*-,._.,-*~<br>
-----BEGIN PGP SIGNATURE-----<br>
Version: GnuPG v2.0.19 (GNU/Linux)<br>
<br>
iEYEARECAAYFAlEvvtMACgkQVKC1jlbQAQeDMgCfXJnfrzijHI+X+kL9b8kbCgcj<br>
IVMAoMMHytQ9tXOeXNX9J7UchEw2AF+F<br>
=1SPZ<br>
-----END PGP SIGNATURE-----<br>
<span class="HOEnZb"><font color="#888888">--<br>
Please use reply-all for most replies to avoid omitting the mailing list.<br>
To unsubscribe or change options: <a href="https://lists.samba.org/mailman/listinfo/rsync" target="_blank">https://lists.samba.org/mailman/listinfo/rsync</a><br>
Before posting, read: <a href="http://www.catb.org/~esr/faqs/smart-questions.html" target="_blank">http://www.catb.org/~esr/faqs/smart-questions.html</a><br>
</font></span></blockquote></div><br>