峰值訓練：Blackwell 提供更高水準的 MLPerf 訓練效能

使用文字、電腦程式碼、蛋白質鏈、摘要、影片甚至 3D 圖形的生成式人工智慧（AI）應用需要資料中心規模的加速運算，才能有效率地訓練驅動這些應用的大型語言模型（LLM）。

在 MLPerf Training 4.1 基準測試中，NVIDIA Blackwell 平台在所有測試中的工作負載方面都取得了令人印象深刻的結果，並且在大型語言模型基準測試中，每個GPU 的效能最高提升了2.2 倍，包括 Llama 2 70B 和 GPT-3 175B 預訓練。

此外，NVIDIA 在 NVIDIA Hopper 平台上提交的內容繼續保持所有基準測試的大規模記錄，其中包括在 GPT-3 175B 基準測試中提交的 11,616 個 Hopper GPU。

Blackwell 的跨越式進展

首次向 MLCommons 聯盟提交的Blackwell訓練結果，凸顯了該架構如何推升生成式 AI 訓練效能。MLCommons 聯盟為產業參與者創建標準化、公正且嚴格的同業審查測試。

例如，Blackwell 架構包括可更高效利用 Tensor Core 的新核心。核心是最佳化的、專門建構的數學運算，例如矩陣乘法，是許多深度學習演算法的核心。

Blackwell 擁有更高的每 GPU 運算輸送量，以及更大、更快的高頻寬記憶體，使其能夠在更少的 GPU 上運行 GPT-3 175B 基準測試，同時實現出色的每 GPU 效能。

利用更大且頻寬更高的 HBM3e 記憶體，僅需 64 個 Blackwell GPU 就能執行 GPT-3 大型語言模型的基準測試，且不影響每 GPU 的性能。使用 Hopper 執行相同的基準測試，則需要 256 個 GPU。

Blackwell 的訓練結果延續其先前在 MLPerf Inference 4.1 的提交成果，在該測試中，Blackwell 的大型語言模型推論效能比 Hopper 世代高出最多 4 倍。利用 Blackwell 架構的 FP4 精度以及 NVIDIA QUASAR 量化系統所提交的資料，在滿足基準準確性要求的同時，展示了強大的效能。

不斷最佳化

NVIDIA 平台經歷持續的軟體開發，提升了多種框架、模型和應用的訓練與推理效能及功能。

在這一輪 MLPerf 訓練提交中，Hopper 在 GPT-3 175B 的每 GPU 訓練效能上，提供自基準推出以來 1.3 倍的提升。NVIDIA 也提交了 GPT-3 175B 基準測試的大規模結果，使用 11,616 個 Hopper GPU與 NVIDIA NVLink 和 NVSwitch 高頻寬 GPU 到 GPU 通訊，以及 NVIDIA Quantum-2 InfiniBand 網路連接。

自去年以來，NVIDIA Hopper GPU 在 GPT-3 175B 基準測試的規模和效能上提升了三倍以上。此外，在 Llama 2 70B LoRA 微調基準測試中，NVIDIA 使用相同數量的 Hopper GPU 將效能提升了 26%，反映出軟體的持續強化。

NVIDIA 持續致力於最佳化其加速運算平台，從而不斷改進MLPerf 測試結果，提高容器化軟體的效能，為現有平台上的合作夥伴和客戶帶來更強大的運算能力，並提升其平台投資的報酬。

攜手合作

NVIDIA 的合作夥伴，包括華碩、Azure、思科、戴爾科技集團、富士通、技鋼科技、Lambda Labs、聯想集團、Oracle Cloud、雲達科技和美超微等系統製造商和雲端服務供應商，也在本輪 MLPerf 測試中提交了出色的成果。

作為 MLCommons 的創始成員，NVIDIA 認為業界標準基準測試和基準測試最佳實踐在 AI 運算中的角色至關重要。透過對AI和高效能運算平台進行同業審查、簡化的比較，企業能夠跟上最新的 AI 運算創新，並獲取有助於引導重要平台投資決策的關鍵數據。

如欲進一步了解最新的 MLPerf 結果，請參閱 NVIDIA 技術部落格。