如今,AI 技術(shù)正大步邁入數(shù)字內(nèi)容生產(chǎn)領(lǐng)域。生成式人工智能(AIGC)技術(shù)在寫作、翻譯繪畫等多個(gè)領(lǐng)域達(dá)到“類人”表現(xiàn),展現(xiàn)出在大數(shù)據(jù)學(xué)習(xí)基礎(chǔ)上的非凡創(chuàng)意潛能。大語言模型強(qiáng)化了計(jì)算機(jī)對(duì)文本、語音等數(shù)據(jù)的分析能力,意圖識(shí)別的準(zhǔn)確性也進(jìn)一步提升。更進(jìn)一步,大語言模型能夠結(jié)合用戶的歷史對(duì)話、上下文語境,更精準(zhǔn)地識(shí)別用戶的需求和意圖。短期內(nèi)即可提供質(zhì)且智能的問答推薦,業(yè)務(wù)咨詢,服務(wù)應(yīng)答。超集信息大語言模型推理一體機(jī)符合OCSP設(shè)計(jì)規(guī)范,基于第四代英特爾®至強(qiáng)®處理器,充分釋放Max處理器的HBM高帶寬內(nèi)存性能,結(jié)合獨(dú)有的大模型推理加速引擎,實(shí)現(xiàn)推理結(jié)果的高準(zhǔn)確率、低延遲性和降低總體擁有成本。
一體機(jī)配置兩顆第四代英特爾®至強(qiáng)®系列處理器、32根DDR5內(nèi)存,可提供10個(gè)PCIe擴(kuò)展位,使得一體機(jī)既可承載HPC計(jì)算任務(wù),又可無縫切換至AI推理業(yè)務(wù)部署模式,一機(jī)兩用,確保基礎(chǔ)設(shè)施成本可控且安全。
一體機(jī)高度僅2U,配置雙路第四代英特爾®至強(qiáng)® Max系列處理器,憑借其獨(dú)特的高帶寬內(nèi)存(HBM)設(shè)計(jì),不僅可滿足10-60B參數(shù)的模型推理能力,在推理準(zhǔn)確度、延遲等關(guān)鍵指標(biāo)均能提供令人滿意的結(jié)果,綜合整體性能與價(jià)格,為用戶實(shí)現(xiàn)極高的性價(jià)比。
一體機(jī)算力可根據(jù)用戶需求進(jìn)行定制,同時(shí)支持單機(jī)的大語言模型推理和多機(jī)多柜的分布式大語言模型推理,適應(yīng)不同模型量級(jí)和算力需求的場(chǎng)景。
用戶可實(shí)時(shí)監(jiān)控一體機(jī)的資源使用情況和狀態(tài),包括設(shè)備健康度、設(shè)備運(yùn)行時(shí)間、CPU使用數(shù)、內(nèi)存使用率系統(tǒng)運(yùn)行負(fù)載、進(jìn)程運(yùn)行狀態(tài)、磁盤使用率、磁盤運(yùn)行狀態(tài)等。