互聯(lián)網(wǎng)大數(shù)據(jù)時代,視頻、音頻、圖片等非結構化數(shù)據(jù)呈爆炸式增長,傳統(tǒng)的SAN和NAS存儲架構已經(jīng)無法滿足巨大IO帶寬和海量的并發(fā)訪問需求。MatrixStore分布式存儲系統(tǒng)匯集了海量數(shù)據(jù)存儲管理和并行高性能讀寫的優(yōu)勢,從架構上徹底消除了傳統(tǒng)存儲的瓶頸,能夠滿足高帶寬、高并發(fā)的海量數(shù)據(jù)存儲需求。
MatrixStore分布式存儲系統(tǒng)是一款針對海量數(shù)據(jù)存儲應用而設計的大規(guī)模通用集群存儲系統(tǒng),采用通用硬件設備作為基本的構建單元,為應用提供全局統(tǒng)一的存儲系統(tǒng)映像和按需調配的存儲資源池,支持以共享文件系統(tǒng)、塊、對象等多種接口類型存儲海量數(shù)據(jù)。
當前大多數(shù)人工智能場景對于存儲系統(tǒng)的要求是大文件/小文件混合讀寫,高帶寬,高IOPS,低延時等業(yè)務需求,MatrixStore分布式存儲系統(tǒng)通過將文件切片,均勻落到每塊硬盤上,充分發(fā)揮存儲集群內所有硬盤性能。
高性能計算平臺對于存儲系統(tǒng)的要求容錯性及復雜度非常高,可同時支持海量業(yè)務系統(tǒng)并行計算,MatrixStore分布式存儲系統(tǒng)支持節(jié)點橫向擴展,容量可達EB級,存儲千億文件,及N+M的糾刪碼機制。
存儲、管理海量文件,需要提供POSIX文件訪問接口,S3接口等,應對海量小文件場景,MatrixStore分布式存儲系統(tǒng)支持在線橫向擴展,數(shù)據(jù)存儲節(jié)點可擴展至10000臺,容量可達EB級,存儲千億文件。
|