<div dir="ltr">I've created a script that syncs (and removes) data from as many as 4 places and puts them all in one of 2 directories.  The commands are:<div><br></div><div>rsync -avt --progress --remove-source-files --info=progress2 -f'+ *.nef' -f'+ *.jp*g' -f'+ *.tif' -f'+ *.xmp' -f'+ /*' -f'- *' "$D850/DCIM/100ND850/" $STAGINGP/ | tee -a $LOG</div><div><br></div><div>rsync -avt --progress --remove-source-files --info=progress2 -f'+ *.nef' -f'+ *.jp*g' -f'+ *.tif' -f'+ *.xmp' -f'+ /*' -f'- *' "$Z9/DCIM/100NCZ_9/" $STAGINGP/ | tee -a $LOG</div><div><br></div><div>rsync -avt --progress --remove-source-files --info=progress2 -f'+ *.mp4' -f'+ /*' -f'- *' "$DASHCAM/CARDV/VIDEO/" $STAGINGV/ | tee -a $LOG</div><div><br></div><div>rsync -avt --progress --remove-source-files --info=progress2 -f'- Screenshots/' -f'+ *.nef' -f'+ *.jpg' -f'+ *.jp*g' -f'+ *.png' -f'+ *.dng' -f'+ *.gif' -f'- *.thumbnails' -f'- *.android' -f'+ */' -f'+ DCIM/*' -f'+ Snapbridge/*' -f'+ Pictures/*' -f'+ Download/*' -f'+ Textgram/*' -f'- *' $PHONE/ $STAGINGP/ | tee -a $LOG</div><div><br></div><div>rsync -avt --progress --remove-source-files --info=progress2 -f'+ *.mp4' -f'+ *.avi' -f'+ *.mov' -f'+ *.mp*g' -f'+ *.3gp' -f'- *' --files-from=<(find $PHONE -type f ! -path "*Download*" ! -path "*.trashed*" ! -iname ????????????????????????????????.mp4 ! -iname '*.mp4\.*')/ $STAGINGV/ | tee -a $LOG</div><div><br></div><div>rsync -avt --progress --remove-source-files --info=progress2 -f'+ *.mp4' -f'+ *.avi' -f'+ *.mov' -f'+ *.mp*g' -f'+ *.3gp' -f'+ Movies/*' -f'+ *Recordings/*' -f'+ DCIM/*' -f'+ Snapbridge/*' -f'- */' -f'- *' $PHONE/ $STAGINGV/ | tee -a $LOG</div><div><br></div><div><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><span style="border-collapse:separate;color:rgb(0,0,0);font-family:'Times New Roman';font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;font-size:medium"><span style="font-family:arial;font-size:small"><div><span style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif">rsync -avt --progress --remove-source-files --info=progress2 </span>-f'+ *.mp4' -f'- *' --files-from=<(find $PHONE -iname ????????????????????????????????.mp4) / $STAGINGV/TIKTOK/ | tee -a $LOG<br style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif"><div style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif"><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><span style="border-collapse:separate;color:rgb(0,0,0);font-family:"Times New Roman";font-variant-numeric:normal;font-variant-east-asian:normal;line-height:normal;font-size:medium"><span style="font-family:arial;font-size:small"></span></span></div></div></div></div><br></div><div><span style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif">rsync -avt --progress --remove-source-files --info=progress2 </span><span style="font-family:"Times New Roman";font-size:medium">-f'+ *' $PHONE/Downloads/ $COMPUTER/Downloads/</span><br style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif"><div style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif"><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><span style="border-collapse:separate;color:rgb(0,0,0);font-family:"Times New Roman";font-variant-numeric:normal;font-variant-east-asian:normal;line-height:normal;font-size:medium"><span style="font-family:arial;font-size:small"></span></span></div></div></div></div></div></span><span style="font-family:arial;font-size:small"><div><br></div><div><span style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif">rsync -avt --progress --remove-source-files --info=progress2 </span><span style="font-family:"Times New Roman";font-size:medium">-f'- screenshot*' -'f- Screenshot*' -f'- Boondocks/' -f'- Dilbert/' -f'+ *.png' -f'+ *.jp*g' -f'+ *.dng' -f'+ *.gif' -f'- *20*/' -f'- *' -f'+ */' -f'- $STAGINGP/' $MYPICS/ $STAGINGP/ | tee -a $LOG</span><br style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif"><div style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif"><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><span style="border-collapse:separate;color:rgb(0,0,0);font-family:"Times New Roman";font-variant-numeric:normal;font-variant-east-asian:normal;line-height:normal;font-size:medium"><span style="font-family:arial;font-size:small"></span></span></div></div></div></div></div></span><span style="font-family:arial;font-size:small"><div><br></div><div><div><span style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif">rsync -avt --progress --remove-source-files --info=progress2 </span>-f'+ Screenshot*.png' -f'- Staging/' -f'- *' $MYPICS/ $STAGINGP/Screenshots/ | tee -a $LOG<br style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif"><div style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif"><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><span style="border-collapse:separate;color:rgb(0,0,0);font-family:"Times New Roman";font-variant-numeric:normal;font-variant-east-asian:normal;line-height:normal;font-size:medium"><span style="font-family:arial;font-size:small"></span></span></div></div></div></div></div><div><br></div></div><div><div><span style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif">rsync -avt --progress --remove-source-files --info=progress2 </span>-f'+ *.3gpp' -f'+ *.mp4' -f'+ *.mp*g' -f'+ *.avi' -f'+ *.asf' -f'+ *.wmv' -f'- *' $HOME/Downloads $STAGINGV/ | tee -a $LOG<br style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif"><div style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif"><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><span style="border-collapse:separate;color:rgb(0,0,0);font-family:"Times New Roman";font-variant-numeric:normal;font-variant-east-asian:normal;line-height:normal;font-size:medium"><span style="font-family:arial;font-size:small"></span></span></div></div></div></div></div><div><br></div></div><div><div><span style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif">rsync -avt --progress --remove-source-files --info=progress2 </span>-f'+ *.mp4' -f'+ *.mp*g' -f'+ *.avi' -f'+ *.asf' -f'+ *.wmv' -f'+ *.3gpp' -f'- *' $MYVIDEOS/ $STAGINGV/ | tee -a $LOG<br style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif"><div style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif"><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><span style="border-collapse:separate;color:rgb(0,0,0);font-family:"Times New Roman";font-variant-numeric:normal;font-variant-east-asian:normal;line-height:normal;font-size:medium"><span style="font-family:arial;font-size:small"></span></span></div></div></div></div></div><div><br></div></div><div><br></div><div>The problem isn't that there are many syncs because the problem happens on the first one that runs.  Before any of them run I run:</div><div><br></div><div>sudo free -w -h;sync && echo 1 > /proc/sys/vm/drop_caches;free -w -h</div><div><br></div><div>I do not run this before each one because it sometimes takes a while to /proc/sys/vm/drop_caches</div><div><br></div><div>Is there something in the logic that can be done to make this perform better or should I use something other than rsync or is what I am getting as good as it will get regardless of what I use?</div><div><br></div><div>Some of these directories can be over a gig.  Most of these are media files and should have exif data that has the timestamp so maybe I can get rid of -t but it is easier to keep the timestamp of the file rather than running exiftool to also use the create date to "touch" the file but maybe using exiftool is a faster way?</div><div><br></div><div>~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~</div><div>In all things, Be Intentional.</div></span></span></div></div></div></div></div></div>