0
2015年，一名畢業于斯坦福大學計算機系的碩士研究生胡安創辦并發布了一種名為IPFS的協議，旨在打造一種區別于http傳輸協議，面向全球、點對點的分布式版本文件系統。這一協議的出現，改變了傳統的中心化存儲，正引發新一輪數據存儲革命甚至掀起一場互聯網革命。
IPFS如何打破中心化存儲走向分布式？簡單來說，在IPFS網絡中，文件會被特殊加密的算法打散成若干個文件碎片，分散存儲到世界各地的IPFS網絡節點中，當用戶需要下載數據時，通過內容尋址從最近的節點將碎片化的內容再次拼接起來，從而替代以往IP尋址。
IPFS能夠有效解決中心化存儲帶來的高并發、數據冗余、存儲安全、隱私泄露、成本高昂等問題，不過，IPFS分布式存儲對基礎設施建設也有更高的要求和挑戰，如何解決這些挑戰是IPFS快速落地的關鍵。
上周，第九屆中國電子信息博覽會（CITE2021）在深圳會展中心圓滿收官，展會的重要組成部分2021深圳分布式存儲峰會針對加速IPFS基礎建設落地展開談論。
創新存儲架構，按需分層
IPFS分布式存儲作為一種創新型的存儲架構，弱化了中心化存儲的極致需求，節省了服務提供成本， 但同時也面臨創新存儲架構都需要面臨的難題，用戶既需要大容量，也需要快速訪問，又需要低成本，還需要低功耗。
“其實很難找到一個存儲介質或存儲設備能夠同時滿足這四個方面的用戶需求，但好消息是在創新存儲架構時，也可以作為系統來滿足用戶各種存儲創建的需求，因為用戶的數據是要進行分層的，不同類型用戶數據有不同的存儲要求。” 西部數據公司副總裁兼中國區業務總經理劉鋼在2021深圳分布式存儲峰會上說道。
為此，西部數據提出“分層存儲”的概念，在“存儲金字塔”中根據應用場景的不同將存儲分為五層，從低到高依次為極冷存儲、冷存儲、溫存儲、熱存儲和極熱存儲。其中冷存儲和極冷存儲針對海量存儲的大數據，熱存儲和極熱存儲針對能夠提供快速訪問的快數據。
具體而言，極冷存儲層的寫入次數較少，數據需要長期歸檔，基礎金融數據、基本醫療資料以及廣電行業都屬于極冷存儲層，SMR HDD就適用于這樣的場景。冷存儲有高容量需求且讀取次數多，在線交易用戶畫像分析就是典型的冷存儲，可以使用大容量企業級HDD。
溫存儲層需要較高性能IOPS，有一定的帶寬要求，主流SSD/HDD適用于這樣的場景。高性能SSD適合熱存儲層，DRAM/SCM等新型內存介質適合極熱存儲層。
“針對冷存儲和極冷存儲，IPFS服務商幾乎在過去四個季度就走完了云服務商過去四年的硬盤演進過程，從8T進化到18T。相比升級到14T，升級到18T可以獲得同樣存儲容量的情況下，減少服務器數量和提高存儲密度，因此如今很多IPFS公司已經在本季度考慮遷移到18T高密度硬盤上。”劉鋼說道。
針對IPFS存儲痛點，優化計算和存儲集群
IPFS分布式存儲需要解決的落地難題，除了作為一種新型存儲架構都要解決的難題外，自身也有許多存儲痛點，具體包括數據吞吐量低、空間利用率低、擴容難、總體擁有成本高、運維低效以及故障懲罰高。
劉鋼表示，存算分離已經是IPFS層面的共識，如果在IPFS的計算集群用7.68T的SSD，存儲集群中使用18T的高密度硬盤，存儲痛點將得到進一步改善。“用4U60+18T的配置，相比傳統的4U36+16T的配置，機柜數減少了約46%，功耗減少了大約36%，大規模地降低了部署成本和運維成本。”
針對IPFS的存儲集群，西部數據目前有高密度的磁盤擴展柜、大容量的18T硬盤，還有Ultrastar DC SN640 NVMe SSD來作為緩存。
針對IPFS的計算集群，西部數據有Ultrastar DC SN640 NVMe SSD和 Ultrastar DC SN840 NVMe SSD寫密集型的SSD來提供支持。“我們發現有很多計算節點會把P1和P2功能的服務器進行拆分，因為P1可以并行，P2不能并行，但達到一定規模后再對P1和P2進行拆分，會發現雖然計算性能提高了，但兩個節點之間的數據傳輸會帶來一定的損失，這是采用高速的SSD緩存吃通過NVMe-oF連接到高速閃存池中，既降低成本，又提高效率。”劉鋼說道。
目前已有不少廠商與西部數據合作，利用西部數據的存儲技術針對IPFS的解決方案。劉鋼介紹到，西部數據已經與星辰天合、浪潮三方合作推出了IPFS解決方案，方案包括西部數據Ultrastar DC HC550 18T硬盤、浪潮英信服務器NF5466M5、XSKY文件存儲系統等關鍵組件。該方案不僅實現了快速部署、便捷運維，還有助于減少IPFS業務的異常情況帶來的損失，大幅度提升業務收益。
杉巖作為一家分布式存儲軟件提供商，同時采用西部數據的高密度硬盤和高密度的4U60存儲擴展機柜，提高密度降低成本，獲得高可靠性和高穩定性。
在存儲廠商和IPFS廠商的共同努力下，IPFS分布式存儲的基礎設施建設正加速落地。
文中圖片源自西部數據
雷鋒網雷鋒網雷鋒網
相關文章：
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
