<div dir="ltr"><br><div class="gmail_quote"><div dir="ltr"><span class=""><div class="gmail_extra"><div class="gmail_quote">On Mon, Jul 13, 2015 at 5:19 PM, Simon Hobson <span dir="ltr"><<a href="mailto:linux@thehobsons.co.uk" target="_blank">linux@thehobsons.co.uk</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="overflow:hidden">> What's needed is a file system that can do what hard links do, but at the<br>
> file page level.  I imagine that this would work using the same Copy On<br>
> Write logic used in managing memory pages after a fork().<br>
<br>
Well some (all ?) enterprise grade storage boxes support de-dup - usually at the block level. So it does exist, at a price !</div></blockquote></div><br><br></div></span><div class="gmail_extra">zfs is free and has de-dup. It takes more RAM to support it well,  but not prohibitively so unless your data is more than a few TB. As with any dedup solution, performance does take a hit and its often not worth it unless you have a lot of duplication in the data.<span class="HOEnZb"><font color="#888888"><br><br></font></span></div><span class="HOEnZb"><font color="#888888"><div class="gmail_extra">Selva<br></div></font></span></div>
</div><br></div>