當(dāng)今互聯(lián)網(wǎng)，數(shù)據(jù)呈現(xiàn)爆炸式增長，不光是社交網(wǎng)絡(luò)、移動(dòng)通信、網(wǎng)絡(luò)視頻、電子商務(wù)等各種應(yīng)用往往能產(chǎn)生億級甚至十億、百億級的海量小文件，就是在許多企業(yè)內(nèi)部同樣會(huì)產(chǎn)生海量小文件，doc文件和excel文件等數(shù)百萬個(gè)文件的應(yīng)用已經(jīng)很容易就見到了。這些數(shù)據(jù)在復(fù)制和刪除過程中就會(huì)面臨訪問性能、存儲(chǔ)效率等許多方面巨大的挑戰(zhàn)，海量小文件問題成為了業(yè)界公認(rèn)的難題。

具體表現(xiàn)舉例子 ,比如復(fù)制一個(gè)文件夾的時(shí)候開始的速度快,然后越來越慢,復(fù)制 500GB的數(shù)據(jù) 就要好幾個(gè)小時(shí)了,如果是10TB數(shù)據(jù) 則要2-3天,最要命的是中途一旦中斷了,不知道從哪里接續(xù),即使中途沒有中斷,復(fù)制后的數(shù)據(jù)出錯(cuò)的可能性依然存在。其他諸如刪除文件也是面臨同樣的問題。耗費(fèi)時(shí)間巨大。

業(yè)界的一些知名互聯(lián)網(wǎng)公司，也對海量小文件提出了解決方案，例如：著名的社交網(wǎng)站Facebook，存儲(chǔ)了超過600億張圖片，專門推出了Haystack系統(tǒng)，針對海量小圖片進(jìn)行定制優(yōu)化的存儲(chǔ)。

Facebook的Haystack對小文件的解決辦法是合并小文件。將小文件數(shù)據(jù)依次追加到數(shù)據(jù)文件中，并且生成索引文件，通過索引來查找小文件在數(shù)據(jù)文件中的offset和size，對文件進(jìn)行讀取。

Haystack面臨的問題：

Facebook的Haystack特點(diǎn)是將文件的完整key都加載到內(nèi)存中，進(jìn)行文件定位。機(jī)器內(nèi)存足夠大的情況下，F(xiàn)acebook完整的8字節(jié)key可以全部加載到內(nèi)存中。內(nèi)存小的時(shí)候問題就來了。