4TB and "150 000 000" files out of memory error

[Sylvain Gargasson]

Ok Matt, Thank you very much

I have now two solutions:

Have bad performance and big SWAP

Or

Use little spited parts in a script

Thank you I always like have two choices.

Thanks for all Bye

Sylvain GARGASSON
Technicien
EUDASYS
60/62, Rue du Maréchal Foch
78000 VERSAILLES
Tél. : 01 39 25 66 66
Fax : 01 39 25 66 67

Céline Louis
Assistante
Tèl: +33 (0)1.39.25.66.79
Fax: +33 (0)1.39.25.66.67

Ce message contient des informations confidentielles couvertes par le secret professionnel. Si vous n'êtes pas le destinataire désigné, nous vous remercions de bien vouloir nous en aviser immédiatement et de nous retourner ce message ou de le détruire, sans faire un quelconque usage de son contenu, ni le communiquer ou le diffuser, ni en prendre aucune copie, électronique ou non.

La sécurité des envois de messages électroniques ne peut être assurée. Ces messages peuvent notamment être interceptés, modifiés, altérés, détruits, perdus, arriver tardivement ou partiellement, ou contenir des virus.

L'expéditeur ne saurait être tenu pour responsable des erreurs ou omissions qui résulteraient d'un envoi par message électronique. Si vous souhaitez vérifier l'authenticité du message et des fichiers joints, merci d'en solliciter une copie sur papier.


-----Message d'origine-----
De : Matt McCutchen [mailto:matt at mattmccutchen.net] 
Envoyé : mardi 15 janvier 2008 18:33
À : Sylvain Gargasson
Cc : rsync at lists.samba.org
Objet : RE: 4TB and "150 000 000" files out of memory error

On Tue, 2008-01-15 at 09:55 +0100, Sylvain Gargasson wrote:
> I work in a production and I not very happy from use pre-release version...
> 
> I have use FAQ and calculate I need 15GB of RAM or SWAP...
> 
> I can create big swap without problem but my client use Samba for share is 150 Millions files and if I use all RAM I can have performance impact...
> 
> Do you know if I can use some command to directly use SWAP memory for rsync???

No.  If Linux had a ulimit for the amount of data a process can have in
RAM at once, that would be perfect, but unfortunately it doesn't.

Another option is to split the copy into smaller portions, each of which
can be done within the memory limit.  For example, if the size of your
source directory is split relatively evenly among a number of immediate
subdirectories, you could write a script to iterate over the source
subdirectories and copy each to the corresponding destination
subdirectory using a separate rsync run (possibly with an additional run
to do top-level deletions).

Matt