《Computex》黃仁勳：AI伺服器買越多、省越多

MoneyDJ新聞 2023-05-29 12:12:39 記者 趙慶翔 報導

輝達(NVIDIA)創辦人暨執行長黃仁勳(如圖)主題演講為今年Computex揭開序幕，針對以GPU為主角的AI伺服器市場與看法，他強調，「買得越多、省得也越多(The more you buy, the more you save.)。」

黃仁勳說明，資料中心的成本包含晶片、系統、硬體生態系統、吞吐量、使用率、採購營運、生命週期最佳化、電力等等。

黃仁勳進一步表示，很多人說GPU伺服器很貴，但是在同樣的設備金額當中，將擁有更高的運算量、以及更低的功耗，舉例來說，同樣是1千萬美金，但當中可包含960個CPU伺服器，功耗是11GWh，1倍的LLM(大型語言模型)，或是當中採用48個GPU伺服器，功耗僅有3.2 GWh，44倍的LLM。

黃仁勳表示，加速運算與生成式AI密不可分，晶片、系統、平台等等都將扮演重要角色，NVIDIA加速產業良性循環，從雲端與OEM廠、建設基礎設備、終端使用者等，包含400萬個開發者，3000個以上的加速應用程式，以及4萬家企業的投入。

以NVIDIA HGX H100晶片來說，目前已經涵蓋各家國際大廠，會中也展示實體機。黃仁勳說明，將專為軟體2.0重新打造運算，每兩年就會推出新款GPU，下一代基於Hopper架構的GPU也將在2024年推出，且在製程與封裝技術上的持續升級，整體效能在十年內將呈現百萬倍的成長力道。