<html>
<head>
<style><!--
.hmmessage P
{
margin:0px;
padding:0px
}
body.hmmessage
{
font-size: 10pt;
font-family:Tahoma
}
--></style></head>
<body class='hmmessage'><div dir='ltr'>
yes both servers are having rsync 3.0.6.<BR> <BR>
<DIV>
<DIV id=SkyDrivePlaceholder></DIV>> Date: Thu, 12 Apr 2012 17:19:47 -0400<BR>> From: kmk@sanitarium.net<BR>> To: rsync@lists.samba.org<BR>> Subject: Re: Rsync takes long time to finish<BR>> <BR>> -----BEGIN PGP SIGNED MESSAGE-----<BR>> Hash: SHA1<BR>> <BR>> Yes, you have the feature in your filesystem. Good. If it is ext3<BR>> then converting it to ext4 would still help assuming your distro<BR>> supports it.<BR>> <BR>> You are using rsync over ssh. This is my preference as well for<BR>> security reasons. Using rsyncd would be faster because it would<BR>> remove the encryption overhead but that shouldn't be a big deal on<BR>> only 100Mbits. It would make no difference in the indexing.<BR>> <BR>> Have you checked your version yet? Run rsync --version on both<BR>> systems. If it isn't 3.0.something upgrade. That will make a big<BR>> difference.<BR>> <BR>> On 04/12/12 17:16, vijay patel wrote:<BR>> > I am getting following thing in 'tune2fs -l' :<BR>> > <BR>> > Filesystem features: has_journal resize_inode dir_index<BR>> > filetype needs_recovery sparse_super large_file<BR>> > <BR>> > Does this mean it is set? One more thing i am not using rsync as<BR>> > daemon (Because i am confused with its usage at the moment), will<BR>> > it make any difference?<BR>> > <BR>> > <BR>> >> Date: Thu, 12 Apr 2012 17:05:06 -0400 From: kmk@sanitarium.net <BR>> >> To: rsync@lists.samba.org Subject: Re: Rsync takes long time to<BR>> >> finish<BR>> >> <BR>> > And make sure both systems are running rsync v3. It indexes in <BR>> > parallel to the copying.<BR>> > <BR>> > On 04/12/12 16:59, Karl O. Pinc wrote:<BR>> >> On 04/12/2012 03:28:18 PM, vijay patel wrote:<BR>> > <BR>> >>> Thanks friends. We are using Redhat Linux 5.8 on Production<BR>> >>> and Disaster Recovery side. By drilling down we have found out<BR>> >>> it is taking lot of time to check what has changed while data <BR>> >>> tranfer is very fast. As i mentioned data in these folders is <BR>> >>> very less (hardly 40GB) and whenever new file is created, it<BR>> >>> is of max 30KB.<BR>> > <BR>> >>> Since we have to sync production environment to DR every 10<BR>> >>> mins as per Business requirement i have to schedule it via<BR>> >>> cron. This already distributed folder structure i am using. I<BR>> >>> already have another rsync job which runs every 5 mins on<BR>> >>> another folder structure. It is running fine. Is there any<BR>> >>> option i can use with rsync to make this folder check fast?<BR>> > <BR>> >> No. Per the response below you need to look at your filesystems.<BR>> > <BR>> >> Use "tune2fs -l" and see if the dir_index option is on. If not, <BR>> >> then turn it on using tune2fs. This probably won't fix the <BR>> >> existing directories. If this is the problem you'll have to do a <BR>> >> backup/restore, or a move of all the files into a new directory <BR>> >> hierarchy and then replace the old hierarchy, or something else<BR>> >> to fix all the existing directories. (I don't think e2fsck will<BR>> >> help, but I've not looked. As I say, there may also be some<BR>> >> other approach.)<BR>> > <BR>> >>>> If it is mostly looking for something to transfer then you <BR>> >>>> need filesystem optimizations. Such as directory indexing.<BR>> >>>> You didn't specify the OS or anything but if you are on Linux<BR>> >>>> this is where an ext3 > ext4 conversion would be helpful.<BR>> > <BR>> > <BR>> >> Karl <kop@meme.com> Free Software: "You don't pay back, you pay <BR>> >> forward." -- Robert A. Heinlein<BR>> > <BR>> > <BR>> >> -- Please use reply-all for most replies to avoid omitting the<BR>> >> mailing list. To unsubscribe or change options:<BR>> > https://lists.samba.org/mailman/listinfo/rsync<BR>> >> Before posting, read:<BR>> >> http://www.catb.org/~esr/faqs/smart-questions.html<BR>> > <BR>> > <BR>> <BR>> - -- <BR>> ~*-,._.,-*~'`^`'~*-,._.,-*~'`^`'~*-,._.,-*~'`^`'~*-,._.,-*~'`^`'~*-,._.,-*~<BR>> Kevin Korb Phone: (407) 252-6853<BR>> Systems Administrator Internet:<BR>> FutureQuest, Inc. Kevin@FutureQuest.net (work)<BR>> Orlando, Florida kmk@sanitarium.net (personal)<BR>> Web page: http://www.sanitarium.net/<BR>> PGP public key available on web site.<BR>> ~*-,._.,-*~'`^`'~*-,._.,-*~'`^`'~*-,._.,-*~'`^`'~*-,._.,-*~'`^`'~*-,._.,-*~<BR>> -----BEGIN PGP SIGNATURE-----<BR>> Version: GnuPG v2.0.17 (GNU/Linux)<BR>> Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/<BR>> <BR>> iEYEARECAAYFAk+HRvMACgkQVKC1jlbQAQfSRgCg/unUPvt3pX+fbQf7qCQktWQc<BR>> kJoAn3ENigLu05Molf5iijT4VhJ1OoVU<BR>> =gQ9y<BR>> -----END PGP SIGNATURE-----<BR>> -- <BR>> Please use reply-all for most replies to avoid omitting the mailing list.<BR>> To unsubscribe or change options: https://lists.samba.org/mailman/listinfo/rsync<BR>> Before posting, read: http://www.catb.org/~esr/faqs/smart-questions.html<BR></DIV>                                       </div></body>
</html>