4TB and "150 000 000" files out of memory error

[Sylvain Gargasson]

Hi Matt,

Thanks a lot,

I work in a production and I not very happy from use pre-release version...

I have use FAQ and calculate I need 15GB of RAM or SWAP...

I can create big swap without problem but my client use Samba for share is 150 Millions files and if I use all RAM I can have performance impact...

Do you know if I can use some command to directly use SWAP memory for rsync???

Thanks in advance

Best regards

Sylvain GARGASSON
Technicien
EUDASYS
60/62, Rue du Maréchal Foch
78000 VERSAILLES
Tél. : 01 39 25 66 66
Fax : 01 39 25 66 67

Céline Louis
Assistante
Tèl: +33 (0)1.39.25.66.79
Fax: +33 (0)1.39.25.66.67

Ce message contient des informations confidentielles couvertes par le secret professionnel. Si vous n'êtes pas le destinataire désigné, nous vous remercions de bien vouloir nous en aviser immédiatement et de nous retourner ce message ou de le détruire, sans faire un quelconque usage de son contenu, ni le communiquer ou le diffuser, ni en prendre aucune copie, électronique ou non.

La sécurité des envois de messages électroniques ne peut être assurée. Ces messages peuvent notamment être interceptés, modifiés, altérés, détruits, perdus, arriver tardivement ou partiellement, ou contenir des virus.

L'expéditeur ne saurait être tenu pour responsable des erreurs ou omissions qui résulteraient d'un envoi par message électronique. Si vous souhaitez vérifier l'authenticité du message et des fichiers joints, merci d'en solliciter une copie sur papier.


-----Message d'origine-----
De : Matt McCutchen [mailto:matt at mattmccutchen.net] 
Envoyé : mardi 15 janvier 2008 03:16
À : Sylvain Gargasson
Cc : rsync at lists.samba.org
Objet : Re: 4TB and "150 000 000" files out of memory error

On Mon, 2008-01-14 at 17:05 +0100, Sylvain Gargasson wrote:
> I want use you product to migrate 4TB of data (in 150 millions files)
> 
> When rsync make the list of files it full my RAM and after my SWAP and my server crash.

Use a development version of rsync 3.0.0, which has an incremental
recursion mode that avoids keeping a list of all the source files in
memory for the entire run.  The source code for the latest pre-release
of rsync 3.0.0 is at:

http://rsync.samba.org/ftp/rsync/rsync-3.0.0pre8.tar.gz

Matt