AI 時代！NVIDIA Hopper GPU 不斷擴大應用以支援市場對人工智慧需求的增加

NVIDIA 在 GTC 演講中揭曉與主要合作夥伴採用 NVIDIA H100 Tensor 核心 GPU 的新產品和服務，NVIDIA H100 Tensor 核心 GPU 是全球最強大的人工智慧 GPU，可滿足市場對生成式人工智慧訓練和推論快速出現的需求。

Oracle Cloud Infrastructure (OCI) 宣布推出新的 OCI 運算裸機 GPU 執行個體將搭載 H100 GPU。此外，AWS 宣布即將推出 Amazon EC2 P5 執行個體的 EC2 UltraClusters，其規模可以擴大到兩萬個互連的 H100 GPU。這是繼微軟 Azure 上週宣布推出其搭載 H100 虛擬機器及 ND H100 v5 專屬預覽活動 (提供客戶搶先體驗)之後的又一項重要公告事項。Meta 現已在公司內部部署了搭載 H100 的 Grand Teton AI 超級電腦，供人工智慧生產和研究團隊使用。

NVIDIA 創辦人暨執行長黃仁勳今日在 GTC 大會主題演講中宣布，NVIDIA DGX H100 AI 超級電腦已全面投產，很快將供全球企業使用。

黃仁勳表示：「生成式人工智慧無比的發展潛力，激勵幾乎各行各業重新設想其商業策略及實現這些策略所需的技術。NVIDIA 與我們的合作夥伴快速採取各項行動，將世界上最強大的人工智慧運算平台提供給那些開發各種應用程式的人員，而這些應用程式將從根本上改變我們生活、工作和娛樂的方式。」

Hopper 架構加速推動人工智慧發展

建立在 NVIDIA Hopper GPU 運算架構上的 H100，內建 Transformer Engine，針對開發、訓練和部署生成式人工智慧、大型語言模型（LLM）及推薦系統進行了最佳化調整。與上一代 A100 相比，這項技術利用了 H100 的 FP8 精度，在 LLM 上訓練人工智慧的速度快了九倍、人工智慧推論速度快上 30 倍。H100 自秋季起將隨著全球製造商的個別和精選主機板單元出貨。

NVIDIA DGX H100 搭載八個 H100 GPU，使用 NVIDIA NVLink 高速互連技術及整合式 NVIDIA Quantum InfiniBand 和 Spectrum Ethernet 網路技術連接。該平台以 FP8 精度提供 32 petaflops 的運算效能，網路速度是前一代 DGX A100 的兩倍，有助於在處理大型人工智慧工作負載時，將能源使用效率提高到極致。

DGX H100 也具備完整的 NVIDIA AI 軟體堆疊，企業能夠用以大規模地流暢執行和管理人工智慧工作負載。該產品包括今日另行發布的最新版 NVIDIA AI Enterprise，以及 DGX 資料中心的作業系統 NVIDIA Base Command™，該系統可以協調整個 NVIDIA DGX 平台上的人工智慧訓練和操作事宜，讓開發人工智慧的工作變得更簡單。

採用 H100 的人工智慧先驅

多個生成式人工智慧領域的先驅採用 H100 來加速執行各項工作：

• OpenAI先前使用H100的前身 – NVIDIA A100 GPU，來訓練和運執行其ChatGPT，這是一個針對對話進行優化的AI系統，在創紀錄的時間被全球數億人使用。OpenAI將在其Azure超級電腦上使用H100來持續支持其AI研究。
• NVIDIA 的重要技術合作夥伴 Meta 開發搭載 Hopper 的人工智慧超級電腦 Grand Teton 系統，多項表現優於上一代的 Zion 系統，包括 4 倍的主機對 GPU (host-to-GPU ) 頻寬、2 倍的運算和數據網路頻寬以及 2 倍的封包功率。有了這種更強大的運算能力，Grand Teton 可以支持高級深度學習推薦模型和內容理解的訓練和生產推理。
• 文字轉影像生成式人工智慧領域的先驅業者 Stability.ai，是 AWS 平台上搶先試用 H100 的客戶。Stability.ai 計畫使用 H100 來加速執行其即將推出的影片、3D 和多模態模型。
• Twelve Labs 是一個讓企業和開發人員能夠取得多模式視訊理解的平台，它計劃在 OCI 超級電腦上使用 H100 執行個體，使視訊更即時、智慧且更易於被搜索。
• 創作出人工智慧輔助故事寫作和文字轉影像合成 NovelAI 應用程式的 Anlatan，使用 CoreWeave 雲端平台上的 H100 執行個體來建立模型及進行推論作業。

全球各地使用 DGX H100 的客戶

全球各地的創新者收到第一波 DGX H100 系統，包括：

• 日本的數位廣告及網路服務公司 CyberAgent，充分利用生成式人工智慧與 LLM 技術，建立人工智慧製作出的數位廣告和名人數位孿生化身。
• 約翰霍普金斯大學應用物理實驗室是美國最大的大學附屬研究中心，將使用 DGX H100 來訓練 LLM。
• 位於斯德哥爾摩的瑞典 KTH 皇家理工學院是歐洲頂尖的理工大學，將使用 DGX H100 為高等教育學子提供最先進的電腦科學課程。
• 日本大型商社之一的三井物產，經營能源、健康、IT 及通信等多項業務，正在使用 DGX H100 來打造日本首個用於藥物發現的生成式人工智慧超級電腦。
• 厄瓜多爾大型電信商 Telconet 正在建立智慧影像分析技術，以打造更安全的城市，同時為使用各種西班牙語方言的客戶提供語言服務。

上市時間

NVIDIA DGX H100 超級電腦已全面投產，可向 NVIDIA 全球合作夥伴訂購。客戶現在便能透過 NVIDIA DGX Cloud 體驗 DGX H100。請向全球 NVIDIA DGX 合作夥伴詢問價格。

在雲端服務業者方面，微軟Azure目前提供 NVIDIA H100 專屬預覽服務，提供客戶搶先體驗， Oracle Cloud Infrastructure 提供有限的使用。Cirrascale 與 CoreWeave也已提供具 H100的雲端平台。AWS宣布將在數週之後推出專屬預覽服務。Google與Lambda、Paperspace 及 Vultr等雲端服務合作夥伴皆計畫推出搭載H100的雲端平台。

各大伺服器製造商現已開始提供搭載 NVIDIA H100 GPU 的伺服器和系統，這些業者有源訊（Atos） 、思科系統（Cisco） 、戴爾科技集團（Dell Technologies）、技嘉科技、慧與科技公司（Hewlett Packard Enterprise）、聯想集團 （Lenovo）及 美超微電腦 （Supermicro）。

source: nvidianews.nvidia.com/news