NVIDIA 全新NIM 微服務，協助台灣多家產業組織提升效率和安全性

世界各地都在追求發展主權 AI，利用自己的運算基礎設施、資料、勞動力及商業網路等資源來發展人工智慧（AI），打造出符合當地的價值觀、法律與利益的 AI 系統，保護和推動文化、語言多元性與知識。

為支持全球各地 AI 的發展和進步，NVIDIA 推出全新的 NVIDIA NIM 微服務，支援各種常用的社群模型，也包括主權基礎模型，可按照當地語言和文化傳統，透過準確理解和改善回應，強化與使用者的互動，使開發人員在輕鬆地建置與部署高效能的生成式 AI 應用的同時，有效控制生成式 AI 對社會、經濟、安全可能帶來的負面影響，對每個區域、國家的永續發展至為關鍵。

全新 NVIDIA NIM 微服務，更快讓生成式 AI 產生出更精準的結果
全新 NVIDIA NIM 微服務包含支援最新發展出的、基於 Llama-3 架構在大型繁體中文和英文資料語料庫上進行微調的大型語言模型（LLM）Llama-3-Taiwan-70B。主要特點包括強大的語言理解、生成、推理、多輪對話能力。Llama 3 70B 的 NIM 微服務可提供高達 5 倍的輸出量，而 Llama 3 70B 正是全新 Llama-3-Taiwan-70B NIM 微服務的基礎模型，可以降低在生產環境中運行模型的總成本，又能減少延遲，讓使用者享受更好的操作體驗。

該模型能更好地理解和反映台灣文化與語言上的微妙之處，有助於確保進行更加精準細緻的溝通，創造出更有效果的輸出內容。與 Llama 3 等基礎 LLM 相比，Llama-3-Taiwan-70B 在理解國語、處理本地法律任務、回答問題，以及語言翻譯和總結方面的表現相當優異。

台灣多家產業組織率先採用全新 NVIDIA NIM 微服務
NVIDIA NIM 微服務能夠加速部署、提升整體效能，且為全球醫療保健、金融、製造業、教育與法律等各產業的組織提供必要的安全性。NVIDIA 已與台灣多家產業組織合作，導入全新 NVIDIA NIM 微服務。

台灣領先醫療體系之一的長庚紀念醫院目前正在建置該院專屬的 AI 推論服務（AIIS），以集中管理醫院體系內的所有 LLM 應用。長庚醫院使用 Llama 3-Taiwan 70B，提供患者能夠理解更細膩的醫療語言，提高第一線醫護人員的工作效率。

長庚紀念醫院醫療人工智能核心實驗室主任郭昶甫醫師表示：「即時提供適合情境的指導，以當地語言 LLM 建立的 AI 應用能夠簡化工作流程，並且當成持續學習的工具，作為支持員工發展與提昇病患照護品質。而 NVIDIA NIM 的工具簡化了這些應用程序的開發，用最少的工程專業知識，輕鬆存取與部署以當地語言訓練的模型。」

台灣的電子設備製造商和碩聯合科技將採用 Llama 3-Taiwan 70B NIM 微服務來開發供內部及外部使用的應用。該公司已將這款微服務與旗下的 PEGAAi Agentic AI 系統進行整合，以達到流程自動化，提升製造與營運效率。

全球石化產品製造商長春集團使用 Llama 3-Taiwan 70B NIM 微服務開發用於知識管理、銷售分析和預測、翻譯和品質保證的內部 AI 平台，提升決策精準度和營運效率。

全球領先的印刷電路板公司欣興電子、科技媒體公司科技報橘、線上合約服務公司律果科技，以及生成式 AI 新創 APMIC 同樣正在使用 Llama-3-Taiwan 70B NIM。這些公司也在開放模型上進行合作。

利用 NVIDIA AI Foundry 為企業量身打造模型
雖然區域性 AI 模型可以提供文化上的細微差異與在地化的回應內容，企業還是要針對其業務流程與領域專業知識進行微調。

NVIDIA AI Foundry 是一個平台與服務，其中包括各式常用的基礎模型、用於微調的 NVIDIA NeMo，以及 NVIDIA DGX Cloud 上的專用容量，為開發人員提供完整堆疊解決方案，以建立包裝為 NIM 微服務的客製化基礎模型。

除此之外，使用 NVIDIA AI Foundry 的開發人員同樣可以使用 NVIDIA AI Enterprise 軟體平台，為生產環境部署作業提供安全性、穩定性與支援。

NVIDIA AI Foundry 為開發人員提供必要工具，幫助他們更便捷地建置與部署自身的客製化區域語言 NIM 微服務，以支援各種 AI 應用，確保為使用者提供符合各地文化與語言使用習慣的結果。