<p dir="ltr">One thing you that im not seeing factored in is rpm speed of the drives.</p>
<div class="gmail_quote">On 26 Jul 2014 15:05, "L. A. Walsh" <<a href="mailto:rsync@tlinx.org">rsync@tlinx.org</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Adam Edgar wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
It seems the issue is indeed in the ssh layer. scp has the same issue and some work has been done in “fixing” that:<br>
<br>
<a href="http://www.psc.edu/index.php/hpn-ssh" target="_blank">http://www.psc.edu/index.php/<u></u>hpn-ssh</a><br>
<br>
>From the papers abstract:<br>
Status: O<br>
<br>
        SCP and the underlying SSH2 protocol implementation in OpenSSH is network performance limited by statically defined internal flow control buffers. These buffers often end up acting as a bottleneck for network throughput of SCP, especially on long and high bandwith network links.<br>

  <br>
</blockquote>
----<br>
   It is *A* bottle neck over networks.  look for  extensions to ssh to<br>
ship unencrypted data streams.<br>
   There's a patch for this @ <a href="http://www.psc.edu/index.php/hpn-ssh" target="_blank">http://www.psc.edu/index.php/<u></u>hpn-ssh</a>.<br>
<br>
   However, rsync is dog slow locally as well for exactly the reasons you mention.<br>
<br>
An extract from another note on this topic (came up on suse list this week).<br>
<br>
Someone suggested compression for a speed up... I responded to that:<br>
<br>
<br>
On a local copy or local network, that usually slows down transfers.<br>
<br>
[**** 1000:1 speed ratio with large vs. small io sizes):]<br>
<br>
One might ask why rsync is so slow --<br>
copying 800G from 1 partition to another via xfsdump/restore takes a bit under 2 hours,<br>
or about 170MB/s, but with rsync, on the same partition with rsync transfering<br>
less than 1/1000th as much (700MB), it took ~70-80 minutes... or about 163kB/s.<br>
<br>
That's on the same system (local drive -> another local drive)<br>
<br>
Transfer speeds depend on many factors.  One of the largest is transfer size (how much<br>
transfered with 1 write /read.<br>
Transfer 1GB, 1-meg at a time, took 2.08s read, and 1.56s to write (using direct io).<br>
<br>
Transfer it at 4K: 37.28s, to read, and 43.02s to write.<br>
<br>
So 20-40x can be accounted for just on R/W size (1k buffers were 4x slower).<br>
<br>
Many desktop apps still think 4k is a good "read size"<br>
<br>
Over a network, causes drop from 500MB/s down to less than 200KB/s<br>
(as seen in FF and TB) -- 2500X.<br>
<br>
Optimal i/o size on my sys is  between 16M-256M.<br>
<br>
So -- to answer your question, MANY things can affect speed, but I'd look at the<br>
R/W size first.<br>
<br>
-- <br>
Please use reply-all for most replies to avoid omitting the mailing list.<br>
To unsubscribe or change options: <a href="https://lists.samba.org/mailman/listinfo/rsync" target="_blank">https://lists.samba.org/<u></u>mailman/listinfo/rsync</a><br>
Before posting, read: <a href="http://www.catb.org/~esr/faqs/smart-questions.html" target="_blank">http://www.catb.org/~esr/faqs/<u></u>smart-questions.html</a></blockquote></div>