NVIDIA H200 NVL 為伺服器再加快AI/HPC運行速度
MoneyDJ新聞 2024-11-19 09:21:12 記者 萬惠雯 報導
NVIDIA 在 Supercomputing （超級運算大會） 2024 （SC24）期間宣布推出 NVIDIA H200 NVLPCIe GPU，這是Hopper系列的最新成員，H200 NVL 非常適合資料中心尋找低功耗、氣冷式企業機架設計與彈性配置的組織，無論規模大小，都能加速執行各種 AI 與 HPC 工作負載。
根據近期的一項調查顯示，約有70%的企業機架功率在 20kW 及以下與採用氣冷技術。這使得PCIe GPU 變得非常重要，因為不管是使用一顆、兩顆、四顆或八顆 GPU，PCIe GPU 都能提供更細緻的節點部署方式，讓資料中心能夠在更小的空間中裝載更多的運算能力。企業可以使用現有的機架，選擇最適合其需求的 GPU 數量。
NVIDIA表示，企業可以使用 H200 NVL 加速執行 AI 和 HPC 應用，同時還能降低功耗以提高能源使用效率。與NVIDIA H100 NVL 相比，H200 NVL 的記憶體增加了 1.5 倍，頻寬增加了 1.2 倍，企業可以使用H200 NVL 在數小時內微調 LLM 與得到高出 1.7 倍的推論效能。在處理 HPC 工作負載方面，效能則比 H100 NVL 高了 1.3 倍，比 NVIDIA Ampere 架構世代提升 2.5 倍。
NVIDIA表示，最新一代的 NVLink 技術提供比第五代PCIe 快上七倍的 GPU 對 GPU 通訊速度，提供更高的效能，滿足 HPC、大型語言模型推論及微調的需求。
(圖片來源：資料庫)
|
