NVIDIA AI Foundry 為全球企業打造客製化 Llama 3.1 生成式 AI 模型

NVIDIA 宣布推出新的 NVIDIA AI Foundry 服務和 NVIDIA NIM 推論微服務，透過 Llama 3.1 開放模型系列，為全球企業增強生成式人工智慧（AI）能力。

借助 NVIDIA AI Foundry，企業和國家現在可以使用 Llama 3.1 和 NVIDIA 軟體、運算和專業知識為其特定領域的產業用例創建客製化「超級模型」。企業可以使用專有資料以及 Llama 3.1 405B 和 NVIDIA Nemotron Reward 模型產生的合成資料來訓練這些超級模型。

NVIDIA AI Foundry 由 NVIDIA DGX™ Cloud AI 平台驅動，該平台是與世界領先的公有雲共同設計的，可為企業提供重要的運算資源，並可根據 AI 需求的變化輕鬆擴展。

這些新產品推出正值企業以及制定主權AI策略的國家都希望利用特定領域的知識來建立客製化的大型語言模型，以用於反映其獨特的業務或文化的生成式AI應用。

為了增強用於生產 AI 的 Llama 3.1 模型的企業部署，現在可從 ai.nvidia.com 下載適用於 Llama 3.1 模型的 NVIDIA NIM 推論微服務。 NIM 微服務是在生產環境中部署 Llama 3.1 模型的最快方式，與不使用 NIM 運行推理相比，吞吐量可提高 2.5 倍。

企業可以將 Llama 3.1 NIM 微服務與全新 NVIDIA NeMo Retriever NIM 微服務配對，為 AI copilots、助理和數位人分身創建最先進的檢索管道。

埃森哲率先透過 AI Foundry 為企業客製化Llama 超級模型

全球專業服務公司 Accenture 率先採用 NVIDIA AI Foundry，利用 Accenture AI Refinery 框架建立客製化 Llama 3.1 模型，既供其自身使用，也提供尋求能夠部署反映其文化、語言和產業的生成式 AI 應用程式的客戶使用。

NVIDIA AI Foundry 提供端對端服務，可快速建立客製化超級模型。它將 NVIDIA 軟體、基礎設施和專業知識與 NVIDIA AI 生態系的開放社群模式、技術和支援相結合。

透過 NVIDIA AI Foundry，企業可以使用 Llama 3.1 模型和 NVIDIA NeMo 平台建立客製化模型。NVIDIA NeMo 平台包括有在 Hugging Face Reward Bench 上排名第一的 NVIDIA Nemotron-4 340B Reward 模型。

一旦客製化模型建立完成，企業可以在其偏好的雲端平台和來自全球伺服器製造商的NVIDIA認證系統上，使用其偏好的MLOps和AIOps平台，創建NVIDIA NIM推論微服務於生產環境中來運行這些模型。

NVIDIA AI Enterprise 專家和全球系統整合商夥伴與AI Foundry客戶合作，加速從開發到部署的整個流程。

NVIDIA Nemotron 推動先進模型客製化

需要額外訓練資料來創建特定領域模型的企業，可以同時使用 Llama 3.1 405B 和 Nemotron-4 340B 生成合成資料，從而在創建客製化 Llama 超級模型時提高模型準確性。

擁有自有訓練資料的客戶，可以使用NVIDIA NeMo客製化 Llama 3.1 模型，以進行領域自適應預訓練（DAPT），以進一步提高模型準確性。

NVIDIA 和 Meta 也合作提供了 Llama 3.1 的蒸餾方案（distillation recipe），開發人員可以藉此構建更小的客製化 Llama 3.1 模型以用於生成式 AI 應用。這使企業能夠在更廣泛的加速基礎設施上運行 Llama 驅動的 AI 應用，例如 AI 工作站和筆記型電腦。

業界領導企業藉助 NVIDIA 和 Llama 增強 AI 能力

醫療保健、金融服務、零售、運輸和電信領域的公司已經開始使用 NVIDIA NIM 微服務來支援 Llama。首批使用 Llama 3.1 新版 NIM 微服務的企業包括沙烏地阿拉伯國家石油公司、AT&T、Uber和其他產業領導者。

Llama 3.1 多語言大型語言模型集群由超過16,000個NVIDIA H100 Tensor Core GPU 訓練而成，並針對 NVIDIA 加速運算和軟體進行了最佳化—無論是在資料中心、雲端還是配備NVIDIA RTX™ GPU的本地工作站或配備GeForce RTX GPU 的電腦上。這些生成式 AI 模型包括 8B、70B 和 405B 參數規模的模型。

全新 NeMo Retriever RAG 微服務提升準確性和效能

使用新的 NVIDIA NeMo Retriever NIM 推論微服務進行檢索增強生成（RAG），組織可以在生產環境中部署客製化的 Llama 超級模型和 Llama NIM 微服務時，提升回應準確性。

結合 Llama 3.1 405B 的 NVIDIA NIM 推論微服務，NeMo Retriever NIM 微服務為 RAG 管線提供最高的開源和商業文本問答檢索準確性。

企業生態系統準備支援 Llama 3.1 和 NeMo Retriever NIM 部署

數百家提供企業、資料和基礎設施平台的 NVIDIA NIM 夥伴，現在可以將這些新微服務整合到他們的 AI 解決方案中，為超過500萬名開發人員和19,000家新創公司組成的NVIDIA 社群增強生成式AI。

NVIDIA AI Enterprise現已提供對 Llama 3.1 NIM 和 NeMo Retriever NIM 微服務的生產支援。NVIDIA 開發者計劃的成員很快將能免費獲得NIM 微服務，以便在其偏好的基礎設施上進行研究、開發和測試。