舊數據時代,存儲主要面對數據庫、文件和流媒體等傳統應用,而如今,在新興技術驅動下,存儲需面對云、大數據、AI 等大規模應用及數據場景,目前新時代對存儲提出了新的挑戰:
- 數據爆炸式增長,性能、擴展性面臨瓶頸
- 數據孤島,難以實現數據的利用
- 難管理、難運維,傳統存儲設備多采用封閉式架構,設備與設備之間難以統一管理
此次項目為南京大學某學院,由于深度學習課題組日常模型訓練導致數據增多,為傳統的儲服務器擴容所困擾,帶寬和 IOPS 也成為瓶頸,考慮后期數據的持續線性增長故協商學院內各課題小組統一搭建一套存儲方案。
經溝通,該學院深度學習課題組,現需要一套存儲方案以實現以下幾點核心需求:
- 目前數據量不大,但必須滿足日后學院內幾個課題組的訓練數據線性增長在線擴容要求
- 滿足各個課題小組大量文件傳輸的高IOPS和高帶寬需求
- 對于數據要做到保護,提高安全性
- 使用者多是學生,管理簡單
分析該用戶需求,需滿足高性能、高擴展性、管理簡單、高安全性要求。結合以上需求,超益集倫給出以下分布式文件存儲解決方案:
- 采用3臺超益集倫專用存儲服務器ServMAX®C4024-X2 搭超集信息分布式存儲軟件 Matrix Store 的高性能存儲解決方案
- 單節點配置若干SSD+24 塊大容量SAS數據盤
- 目前提供大于2GB/s 的高帶寬吞吐,后期在線擴容性能隨線性增長
C4024-X2
- 采用雙路2nd Gen Intel®Xeon®Scalable 系列處理器
- 4U 機架式服務器
- 支持24塊3.5寸熱插拔硬盤
- 800W/1200w (1+1) 冗余電源
- 高可靠性和可用性
經過超益集倫給出的軟硬件存儲解決方案給客戶帶來以下業務價值:
- 彈性擴展:隨著訓練數據的增加,存儲的容量可以隨之彈性擴容
- 統一管理:多個課題組訓練的存儲資源池,一套平臺統一管理
- 軟硬一體:通過軟硬一體化解決方案,可靠性、安全性、性能更值得姓賴
- 高性能:性能完全滿足多個課題組不同學生井發訪問