ChatGPT的火爆，讓大家看到AI大模型的威力。于是乎，國(guó)內(nèi)相關(guān)企業(yè)紛紛踏入AI大模型賽道，并呈現(xiàn)出“百模大戰(zhàn)”的火爆場(chǎng)面。
大模型市場(chǎng)必將是一場(chǎng)消耗戰(zhàn)，而背后的算力資源成為決定力量，“我們判斷基于AI大模型的訓(xùn)練算力需求至少會(huì)持續(xù)1-2年，并最終形成每個(gè)行業(yè)/領(lǐng)域2-5家大模型贏家。” 近日，寶德AI&HPC部部長(zhǎng)鄔鴻這樣預(yù)測(cè)到。寶德計(jì)算是國(guó)內(nèi)最早做AI服務(wù)器的頭部服務(wù)器廠家之一，目前中國(guó)AI服務(wù)器市場(chǎng)的TOP3，也是早期為字節(jié)跳動(dòng)、美團(tuán)等互聯(lián)網(wǎng)廠商提供AI算力服務(wù)的伙伴。如今其AI服務(wù)器解決方案已經(jīng)覆蓋針對(duì)AI訓(xùn)練、AI推理以及邊緣推理等場(chǎng)景。近日，針對(duì)企業(yè)如何評(píng)估大模型需求、如何更高效應(yīng)實(shí)現(xiàn)對(duì)大模型訓(xùn)練和推理的算力加速，鄔鴻也分享精彩的觀點(diǎn)。
01
如何評(píng)估AI大模型需求？
當(dāng)前整個(gè)算力市場(chǎng)面臨著算力供給突飛猛進(jìn)和大模型算力需求相對(duì)不足的沖突。至頂智庫(kù)統(tǒng)計(jì)，截至2023年2月，我國(guó)目前已投入運(yùn)營(yíng)和在建的人工智能計(jì)算中心達(dá)23個(gè)，分布在北京、上海、南京、杭州等多個(gè)城市。但是在AI算力加速布局的同時(shí)，企業(yè)如何評(píng)估自身的大模型需求以及構(gòu)建相適應(yīng)的算力基礎(chǔ)設(shè)施成為AI應(yīng)用發(fā)展的首要問(wèn)題。
評(píng)估AI大模型需求是一個(gè)系統(tǒng)工程，不僅需要了解業(yè)務(wù)需求，還要了解模型的復(fù)雜性、海量數(shù)據(jù)的多樣性以及算力本身的性能和成本考量。
AI大模型訓(xùn)練需要服務(wù)器集群實(shí)現(xiàn)大規(guī)模計(jì)算，因此企業(yè)要判斷自身服務(wù)對(duì)象的數(shù)據(jù)量以及需要圍繞著面向訓(xùn)練場(chǎng)景，包括算力，網(wǎng)絡(luò)、存儲(chǔ)的整個(gè)算力需求進(jìn)行評(píng)估。鄔鴻認(rèn)為AI大模型需求隨著數(shù)據(jù)量的增長(zhǎng)，對(duì)于算力的需求不是簡(jiǎn)單的線性增加，而是指數(shù)型增加。“企業(yè)的服務(wù)客戶群體是百萬(wàn)，千萬(wàn)，或者甚至上億級(jí)別，對(duì)AI算力需求是完全不一樣的變化，因?yàn)樗懔κ歉鶕?jù)AI大模型需求增長(zhǎng)呈現(xiàn)指數(shù)性增加，而不是線性增加，所以首先企業(yè)要明確服務(wù)對(duì)象的體量，包括對(duì)會(huì)話請(qǐng)求的要求，通過(guò)這一點(diǎn)可以判斷未來(lái)行業(yè)大模型落地的大概算力需求。” 鄔鴻分享到。
另外，還要考慮大模型拓展帶來(lái)的長(zhǎng)尾效應(yīng)。“如果進(jìn)一步深入到中小型應(yīng)用的大模型拓展，例如像電力、金融、電商、物流等行業(yè)大模型，其長(zhǎng)尾效應(yīng)非常寬也非常長(zhǎng)，勢(shì)必帶來(lái)AI算力的需求增長(zhǎng)，雖然沒(méi)有互聯(lián)網(wǎng)動(dòng)輒上萬(wàn)片的算力卡需求，但是聚少成多，具備很強(qiáng)的長(zhǎng)尾效應(yīng)。” 鄔鴻介紹到，一般企業(yè)對(duì)行業(yè)大模型的算力需求在100-1000張卡之內(nèi)，這可以滿足絕大部分行業(yè)大模型訓(xùn)練需求。
長(zhǎng)期來(lái)看，通用大模型市場(chǎng)是一個(gè)優(yōu)勝劣汰且贏家通吃的過(guò)程。鄔鴻在采訪中預(yù)判AI算力的需求特別是基于大模型的訓(xùn)練算力需求至少會(huì)持續(xù)1-2年，并最終形成每個(gè)行業(yè)/領(lǐng)域2-5家大模型贏家。
02
高效應(yīng)對(duì)AI大模型，算力是關(guān)鍵
當(dāng)前AI服務(wù)器已經(jīng)廣泛應(yīng)用在人工智能、深度學(xué)習(xí)、智慧教育、智能城市、醫(yī)療健康、大數(shù)據(jù)、高性能計(jì)算 (HPC)、虛擬現(xiàn)實(shí)等，以及媒體傳輸、云游戲、元宇宙等智能視覺(jué)云應(yīng)用等。基于AI服務(wù)器在大模型訓(xùn)練和推理方面的優(yōu)勢(shì)，未來(lái)整個(gè)服務(wù)器市場(chǎng)也發(fā)生了巨變。“今年來(lái)看，AI服務(wù)器增長(zhǎng)速度遠(yuǎn)遠(yuǎn)高于通用服務(wù)器增長(zhǎng)速度，從銷售額來(lái)看，我們預(yù)估可能到明年或者后年，通用服務(wù)器和AI服務(wù)器市場(chǎng)占比可能達(dá)到1:1。”鄔鴻談到。
如今，除了傳統(tǒng)服務(wù)器，寶德計(jì)算攜手英特爾、英偉達(dá)以及昇騰AI等合作伙伴，持續(xù)推出了面向AI加速計(jì)算服務(wù)器系列產(chǎn)品，通過(guò)高性能、可擴(kuò)展性強(qiáng)、高能效和開(kāi)箱即用等優(yōu)勢(shì)，滿足AI客戶尤其是大模型訓(xùn)練和推理提供超高性價(jià)比的算力支撐。
寶德計(jì)算AI服務(wù)器目前針對(duì)AI訓(xùn)練、AI推理以及邊緣推理推出全系列面向AI場(chǎng)景的算力基礎(chǔ)設(shè)施。
訓(xùn)練服務(wù)器偏向于以單機(jī)多卡滿足高性能的訓(xùn)練價(jià)值為主，主要面向互聯(lián)網(wǎng)、AI獨(dú)角獸以及ISV等用戶的傳統(tǒng)的深度學(xué)習(xí)訓(xùn)練場(chǎng)景。比如基于GPU的寶德AI加速計(jì)算服務(wù)器，支持新一代 NVIDIA NVLink 互聯(lián)技術(shù)的NVIDIA H800 GPU ，也可支持Intel® Gaudi®2 GPU，通過(guò)GPU承擔(dān)部分預(yù)算量繁重且耗時(shí)的代碼，實(shí)現(xiàn)應(yīng)用程序加速，加速企業(yè)實(shí)現(xiàn)更多計(jì)算任務(wù)、處理更大數(shù)據(jù)集、縮短應(yīng)用運(yùn)行時(shí)間，可為大模型訓(xùn)練提供強(qiáng)勁的算力支持。
同時(shí)，寶德自強(qiáng)AI訓(xùn)練服務(wù)器系列是基于鯤鵬處理器+昇騰910處理器打造的AI訓(xùn)練服務(wù)器，具有超強(qiáng)算力密度、高速網(wǎng)絡(luò)帶寬等特點(diǎn)。該系列服務(wù)器廣泛應(yīng)用于深度學(xué)習(xí)模型開(kāi)發(fā)和訓(xùn)練，適用于智慧城市、智慧醫(yī)療、天文探索、石油勘探等需要大算力的行業(yè)領(lǐng)域。
推理服務(wù)器主要通過(guò)高并發(fā)的推理卡，面向CSP業(yè)務(wù)的數(shù)據(jù)中心推理以及ISV面向的私有端-網(wǎng)安、安防、智慧城市等市場(chǎng)，應(yīng)用于廣告、用戶畫(huà)像和視頻等場(chǎng)景。
對(duì)于需要更多變化的邊緣推理應(yīng)用場(chǎng)景，寶德計(jì)算也有對(duì)應(yīng)的邊緣推理設(shè)備，里面集成了英特爾嵌入式CPU，以及NVIDIA Jetson模組，來(lái)滿足客戶對(duì)于邊緣側(cè)的推理需求。
此外，寶德計(jì)算也在AI軟件層面做了很多積累，推出了人工智能管理平臺(tái)PLStack，支持AI的擴(kuò)展開(kāi)發(fā)、算法開(kāi)發(fā)、模型訓(xùn)練，以及模型的推理發(fā)布等功能，通過(guò)該平臺(tái)可以幫助中小企業(yè)直接應(yīng)用其AI科研或者AI訓(xùn)練，加速AI的方案的落地。
03
AI大模型需求背后是整個(gè)AI生態(tài)的建設(shè)
面向大模型需求，除了AI算力，還需要關(guān)注整個(gè)AI生態(tài)。這方面，寶德堅(jiān)持與國(guó)內(nèi)外AI芯片產(chǎn)業(yè)鏈頭部廠商深度合作，緊跟先進(jìn)技術(shù)做適配與研發(fā)，與Intel戰(zhàn)略合作20多年，是NVIDIA和昇騰的OEM合作伙伴，積極擁抱開(kāi)放的AI芯片產(chǎn)業(yè)。同時(shí)，寶德建立AI生態(tài)適配中心，聚焦推理場(chǎng)景，與更多國(guó)產(chǎn)AI加速卡合作和適配，滿足客戶多樣性的算力需求。
此外，因?yàn)锳I大模型還涉及到算力基礎(chǔ)設(shè)施，包括高性能網(wǎng)絡(luò)和高性能存儲(chǔ)。寶德建議在AI服務(wù)器集群發(fā)展方面，除了考慮AI算力方面的優(yōu)勢(shì)，也要提前規(guī)劃好面向未來(lái)的高性能網(wǎng)絡(luò)和高性能存儲(chǔ)平臺(tái)，為算力基礎(chǔ)設(shè)施擴(kuò)容打好基礎(chǔ)。
“存儲(chǔ)擴(kuò)容和網(wǎng)絡(luò)擴(kuò)建，相對(duì)來(lái)說(shuō)都比較復(fù)雜，因此在做大模型的初步方案設(shè)計(jì)時(shí)一定要將底層的根基——底層的高性能存儲(chǔ)加上中間的高性能網(wǎng)絡(luò)整個(gè)平臺(tái)搭建好。” 鄔鴻最后分享說(shuō)， “我們給客戶設(shè)計(jì)整個(gè)方案，盡量將底層的存儲(chǔ)和網(wǎng)絡(luò)設(shè)計(jì)得更有預(yù)見(jiàn)性，為未來(lái)的擴(kuò)容留下更多的接口。”
4008-870-872
點(diǎn)擊咨詢
