NVIDIA的乙太網路技術加速建造全球最大AI超級電腦
MoneyDJ新聞 2024-10-30 11:30:47 記者 萬惠雯 報導  NVIDIA宣布xAI在美國田納西州孟菲斯市使用NVIDIA Spectrum-X 乙太網路平台打造出規模龐大、搭載10萬個NVIDIA Hopper Tensor核心GPU的Colossus超級電腦叢集。NVIDIA Spectrum-X平台為多租戶、超大規模AI工廠提供卓越性能而設計，使用標準乙太網路作為其遠端直接記憶體存取（RDMA）網路。
Colossus是全球最大的人工智慧超級電腦，用於訓練xAI的Grok系列大型語言模型，並為X Premium用戶提供聊天機器人功能。xAI正在將Colossus的規模擴大一倍，總計將搭載20萬個NVIDIA Hopper GPU。
xAI與NVIDIA在短短122天內就建置出相關配套設施與Colossus這具最先進的超級電腦，這種規模的系統通常要用到幾個月到幾年的時間建置。從安裝第一個機架到開始訓練 AI僅歷時19天。
NVIDIA表示，Colossus超級電腦在訓練規模極為龐大的Grok模型時，展現出前所未有的網路效能。在所有三層網路結構中，系統都未因流量碰撞而出現應用程式延遲或封包遺失的情況。Colossus超級電腦藉由 Spectrum-X壅塞控制功能，保有95%的資料輸送量；標準乙太網路會無法大規模達到這樣的效能水準，會造成上千次的流量碰撞，又只能提供60%的資料輸送量。
(圖片來源：資料庫)
|
