美光推新一代HBM3記憶體，推動生成式AI創新
MoneyDJ新聞 2023-07-27 12:52:50 記者 新聞中心 報導  美光科技宣布推出業界首款第二代8層堆疊(8-High) 24GB HBM3，並於今(27)日開始送樣。此產品頻寬達1.2TB/s以上，每腳位傳輸速率超過9.2Gb/s，較目前市面上的HBM3解決方案高出50%。此外，美光第二代HBM3的每瓦效能較前幾代產品提升2.5倍，刷新AI數據中心的關鍵性能、容量及功耗指標。美光指出，這些改進縮短了業界訓練GPT-4等大型語言模型及其更高階版本所需時間，幫助AI推論所需的基礎硬體架構發揮最佳功效，並提供卓越的總體擁有成本(TCO)。
奠基於先進的1β DRAM製程節點，美光領先業界的HBM解決方案能在業界標準封裝尺寸中，將24GB的晶粒組裝為8層高度的立方體。美光12層堆疊(12-High) 36GB HBM3亦將於2024年第一季開始送樣。
透過此堆疊高度，美光可提供較競品解決方案高出50%的容量。美光第二代HBM3性能功耗比和每腳位傳輸速率的改善，對因應當前AI資料中心的高功耗需求而言至關重要。美光提供較現行HBM3解決方案多出一倍的直通矽晶穿孔(TSV)數量，又以五倍金屬密度減少熱阻抗，並採用高能效資料路徑設計，實現功耗的改善。
身為2.5D/3D堆疊和先進封裝技術的領導者，美光成為台積電3DFabric聯盟的合作夥伴，攜手塑造半導體和系統創新的未來。在第二代HBM3產品的研發中，美光與台積電的合作為順利導入和整合AI及高效能運算設計應用的運算系統奠定了堅實基礎。台積電已收到美光第二代HBM3樣品，且雙方正密切合作，以進行進一步的評估和測試，進而助力客戶的次世代高效能運算應用創新。
在生成式AI方面，美光第二代HBM3亦能符合多模態數兆參數AI模型所需。公司指出，每組堆疊24GB的容量、大於9.2Gbps的每腳位傳輸速率除了能減少大型語言模型30%以上的訓練時間，進而降低總體擁有成本外，也能大幅提升每日查詢次數，讓訓練完成的模型在使用時更有效率。不僅如此，美光第二代HBM3傲視業界的每瓦效能也替現代AI資料中心扎實省下營運費用：若以裝設1000萬個GPU計算，每組堆疊節能5瓦，預計將能在五年內省下多達5.5億美元的營運成本。
美光副總裁暨運算產品事業群總經理Praveen Vaidyanathan表示，美光第二代HBM3的研發重點，在於為客戶及業界提供卓越的AI及高效能運算解決方案；美光所考慮的一項重要標準，就是第二代HBM3產品能否輕鬆與客戶平臺整合。對此，記憶體內建的自我測試(MBIST)不僅可徹底程式化，還能以規格中的最高每腳位傳輸速率進行測試，有助於改善與客戶的測試能力，提升協作效率，並縮短上市時間。
NVIDIA超大規模與高效能運算副總裁Ian Buck表示，生成式AI的核心是加速運算，而這種運算則受益於具有高頻寬及能源效率的HBM；NVIDIA與美光在廣泛產品領域的合作已行之有年，也渴望能在第二代HBM3上持續合作，以推動AI創新。
美光運用其全球工程組織開發這項突破性的產品，包含於美國進行設計和製程研發、於日本進行記憶體製造，及於台灣進行先進封裝。繼採用1α製程節點24Gb單體式DRAM晶粒的96GB DDR5模組問世，以支援高容量需求的伺服器解決方案後，美光今日又宣布推出基於1β製程節點24Gb晶粒的24Gb HBM3產品，為美光業界技術領先地位立下新的里程碑。
美光也計劃於2024年上半年推出採用1β製程節點32Gb單體式DRAM晶粒的128GB DDR5模組。這些產品展示了美光在AI伺服器領域的領先技術創新。
(圖片來源：美光科技)
|
|
|
|
