輝達 Nvidia揭示了新的人工智慧晶片運行LLM的成本將“大幅降低”
GH200 與H100是一樣的GPU, 但是搭配 141G最新進記憶體與一個 72 核心的 ARM 中央處理器
來源: CNBC
據一些估計，Nvidia在AI晶片市場佔據了超過80%的市場占有率。該公司的專長是圖形處理單元（GPU），已成為支撐生成式AI軟體（如Google的Bard和OpenAI的ChatGPT）的大型AI模型的首選晶片。但由於科技巨頭、雲服務提供者和初創公司爭奪GPU容量以開發自己的AI模型，Nvidia的晶片供應短缺。
Nvidia的新晶片GH200與公司目前最高端的AI晶片H100擁有相同的GPU。但GH200將該GPU與141GB的尖端記憶體以及一個72核的ARM中央處理器搭配。
Nvidia首席執行長黃仁勳在週二的一次演講中表示：“我們正在為這款處理器提供增強。”他補充說：“這款處理器是為全球資料中心的規模化而設計的。”
據黃仁勳表示，這款新晶片將于明年第二季度在Nvidia的經銷商處上市，並計畫在年底前提供樣品。Nvidia代表拒絕透露價格。
通常情況下，處理AI模型的過程至少分為兩個部分：訓練和推理。
首先，使用大量資料對模型進行訓練，這個過程可能需要數月時間，並且有時需要數千個GPU，例如Nvidia的H100和A100晶片。然後，使用該模型的軟體進行預測或生成內容，這個過程稱為推理。與訓練一樣，推理需要大量的計算資源，每次軟體運行時都需要大量的處理能力，例如生成文本或圖像時。但與訓練不同，推理是近乎持續進行的，而訓練只在需要更新模型時才需要。
黃仁勳表示：“你可以將幾乎任何你想要的大型語言模型放入其中，它將進行瘋狂的推理。”他說：“大型語言模型的推理成本將大幅降低。”
Nvidia的新GH200晶片專為推理而設計，因為它具有更大的記憶體容量，可以將更大的AI模型放入單個系統中，Nvidia副總裁Ian Buck在週二與分析師和記者的電話會議上表示。Nvidia的H100記憶體容量為80GB，而新的GH200記憶體容量為141GB。Nvidia還宣佈推出了一種將兩個GH200晶片組合到一台電腦中以運行更大模型的系統。
Buck表示：“更大的記憶體使得模型可以駐留在單個GPU上，而不需要多個系統或多個GPU來運行。”
此次公告是在Nvidia的主要GPU競爭對手AMD最近宣佈推出自己的面向AI的晶片MI300X之後進行的，該晶片支援192GB的記憶體，並被市場行銷為具備AI推理能力。包括谷歌和亞馬遜在內的公司也正在設計自己的定制AI晶片用於推理。
※版權所有，歡迎媒體聯絡我們轉載；登錄本網按讚、留言、分享，皆可獲得 OCTOVERSE 點數（8-Coin），累積後可兌換獎品，相關辦法以官網公布為準※
