輝達推4款NIM微服務 冀助部署高效能GenAI應用
MoneyDJ新聞 2024-08-27 11:20:35 記者 新聞中心 報導  世界各國都在追求發展主權AI，冀利用自己的運算基礎設施、資料、勞動力及商業網路來發展人工智慧(AI)，以確保AI系統符合當地的價值觀、法律與利益。輝達(NVIDIA)今(27)日宣布，推出四款全新 NVIDIA NIM微服務，讓開發人員能夠更輕鬆地建置與部署高效能的生成式AI(GenAI)應用。
輝達表示，微服務支援社群常用的各種模型，並針對地區需求量身打造，可按照當地語言和文化傳統，透過準確理解和改善的回應，強化與使用者的互動。
根據ABI Research資料顯示，光是在亞太地區，預計到2030年時，生成式AI軟體營收將從今(2024)年的50億美元成長到480億美元。
輝達指出，使用日文資料訓練出的Llama-3-Swallow-70B，以及用國語資料訓練出的Llama-3-Taiwan-70B，都屬於區域語言模型，可以更深入瞭解當地法律、法規和其他習俗；而建立在Mistral-7B模型上的 RakutenAI 7B系列模型，則投入英文和日文資料集進行訓練，並可當成用於對談(Chat)和指令(Instruct)的兩種不同的NIM微服務，提供給外界使用。
輝達並指出，使用一個地區的語言訓練大型語言模型(LLM)，能夠更好地理解和反映文化與語言上的微妙之處，有助於確保進行更加精準細緻的溝通，創造出更有效果的輸出內容。與Llama 3等基礎LLM相比，這些模型在理解日語和國語、處理當地法律任務、回答問題，以及語言翻譯和總結方面的表現相當優異。
全新NIM微服務讓企業、政府機構和大學可以在自己的環境中託管原生LLM，使開發人員能夠開發先進的AI輔助功能(copilots)、聊天機器人和AI助理。開發人員可輕鬆把包裝為NIM微服務的主權AI模型部署到生產環境，以獲得更優異的效能表現。
(圖片來源：輝達)
|
