<div dir="ltr"><div><div><div><div><div>Joe, this is specific to having a backup with rsync.  The way I use links for rsync is by not using the link (ln) command at all, but instead using cp's build-in -l (link) option.  It looks something like this:<br>
<br></div>1) delete the oldest backup (simple 'rm' command)<br></div>2) shift the rest (with 'rm') by 1, so if I have a 7 day daily backup, it moves daily.06 -> 07, daily.05 -> 06, etc., etc.  This effectively removed daily.01 as that is now .02.<br>
</div>3) make a linked copy of .02 back into .01, so cp -al daily.02 daily.01 - this links only, it doesn't physically copy anything.<br></div>4) run rsync against that .01 backup.  I run rsync with --delete and --delete-excluded options in case something got removed from the live system, it gets deleted, but only from this newest backup.  If I need to recover it 5 days from now, I still can by looking in daily.05.<br>
<div><br></div><div>This setup works well in that only one folder will have actual physical files (and thus the largest of them all.)  The rest of them are links back to it and are very small.  The neat thing is, when a file gets deleted from the newest backup, .01, it breaks the link from the others, and the physical file remains in the next older backup, in this case .02,  (till it "expires" out of the cycle.)<br>
<br></div><div>I have 12 servers backing up gigabytes worth of data every night like this, maintaining anywhere between 3 to 6 weeks worth for each one.  They're all going to a single 1 terabyte drive.</div><br></div>
A<br><div><div><br></div></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Jan 22, 2013 at 3:31 PM, François <span dir="ltr"><<a href="mailto:daitheflu@free.fr" target="_blank">daitheflu@free.fr</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Joe,<br>
<br>
If you want to understand hard-links, just take a look at Wikipedia :<br>
<a href="http://en.wikipedia.org/wiki/Hard_link#Example" target="_blank">http://en.wikipedia.org/wiki/Hard_link#Example</a><br>
<br>
I think it's pretty easy to understand.<br>
<br>
To understand how hard-links (and rsync) can help you make strong incremental<br>
backups, head over<br>
<a href="http://blog.interlinked.org/tutorials/rsync_time_machine.html" target="_blank">http://blog.interlinked.org/tutorials/rsync_time_machine.html</a><br>
<br>
Cheers,<br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
François<br>
<br>
<br>
Le mardi 22 janvier 2013 23:12:38, Joe a écrit :<br>
</font></span><div class="HOEnZb"><div class="h5">> Thanks for the reply.  I know what hard and soft links are and have some<br>
> idea of how they relate to backup.<br>
><br>
> What I need is a tutorial on how all of that works with rsync.  I can<br>
> see that there are a lot of considerations as to which options to use<br>
> for different situations and maybe some general strategies on how to<br>
> build something like an incremental  or differential backup.<br>
><br>
> I use rsync now on a one directory tree to one directory tree basis now,<br>
> but I'd like to have more than one backup on my backup device without<br>
> doubling the storage which is what hard links will help me do once I<br>
> know how they work in more detail.<br>
><br>
> Joe<br>
><br>
> On 01/22/2013 02:48 AM, Tony Abernethy wrote:<br>
> > This may help:  (man ln)<br>
> ><br>
> > A hard link to a file is<br>
> > indistinguishable from the original directory entry; any changes to a<br>
> > file are effectively independent of the name used to reference the file.<br>
> > Hard links may not normally refer to directories and may not span file<br>
> > systems.<br>
> ><br>
> > Assuming you do many backups and many of the files do not change,<br>
> > hard links are your friend.<br>
> ><br>
> > Backing up soft links:<br>
> > Do you back up the link or what the link points to?<br>
> > (Even that simple thing has interesting ways to get complicated.)<br>
> ><br>
> > -----Original Message-----<br>
> > From: <a href="mailto:rsync-bounces@lists.samba.org">rsync-bounces@lists.samba.org</a><br>
> > [mailto:<a href="mailto:rsync-bounces@lists.samba.org">rsync-bounces@lists.samba.org</a>] On Behalf Of Joe Sent: Tuesday,<br>
> > January 22, 2013 1:32 AM<br>
> > To: <a href="mailto:rsync@lists.samba.org">rsync@lists.samba.org</a><br>
> > Subject: Is there a howto/tutorial on backups/rsync that covers the use<br>
> > of hard and soft links?<br>
> ><br>
> > There have been a lot of posts on the list lately about issues with hard<br>
> > links.  It has been very interesting, but I don't understand it very<br>
> > thoroughly.  I haven't used hard links for anything yet.  I've used<br>
> > symlinks - not for backups, of course - and have seen them get broken or<br>
> > deleted in backups.<br>
> ><br>
> > Is there a tutorial anywhere that will explain how this works (assuming<br>
> > that the reader understands the basic concepts of backups and knows how<br>
> > to program, but doesn't really understand how to use links to create<br>
> > things like incremental or differential backups)?  It seems like there<br>
> > are a lot of fine points to consider, some of which can really bite you<br>
> > if you don't take them into account.<br>
> ><br>
> > I'm working on my own personal backup system using bash and rsync.  When<br>
> > it's done it will be pretty good, but it would be *much* better if I<br>
> > rewrote it to have more backup versions using hard links to save space.<br>
> ><br>
> > I am writing my own because (aside from learning a lot) I have only seen<br>
> > two types of backup utilities - those that are very simplistic and won't<br>
> > let me do what I want and those which are enterprise level and I can't<br>
> > figure out how to get them to do anything without extensive study.  (I<br>
> > did experiment with areca (I think it uses rsync libraries under the<br>
> > hood) which would probably do everything I want, but I got stuck too<br>
> > many times and couldn't get enough support on their forum to keep<br>
> > going.)<br>
> ><br>
> > TIA<br>
> ><br>
> >     Joe<br>
> ><br>
> > --<br>
> > Please use reply-all for most replies to avoid omitting the mailing list.<br>
> > To unsubscribe or change options:<br>
> > <a href="https://lists.samba.org/mailman/listinfo/rsync" target="_blank">https://lists.samba.org/mailman/listinfo/rsync</a> Before posting, read:<br>
> > <a href="http://www.catb.org/~esr/faqs/smart-questions.html" target="_blank">http://www.catb.org/~esr/faqs/smart-questions.html</a><br>
--<br>
Please use reply-all for most replies to avoid omitting the mailing list.<br>
To unsubscribe or change options: <a href="https://lists.samba.org/mailman/listinfo/rsync" target="_blank">https://lists.samba.org/mailman/listinfo/rsync</a><br>
Before posting, read: <a href="http://www.catb.org/~esr/faqs/smart-questions.html" target="_blank">http://www.catb.org/~esr/faqs/smart-questions.html</a><br>
<br>
</div></div></blockquote></div><br></div>