Intel 展示 MLCommons AI 推論結果突顯產品 AI 領域的強大競爭力

MLCommons 於美國時間 9 月 11 日針對 60 億個參數的大型語言 GPT-J，以及電腦視覺和自然語言處理模型發表 MLPerf Inference v3.1 效能基準測試結果。Intel 提交 Habana Gaudi 2 加速器、第 4 代Intel Xeon 可擴充處理器和 Intel Xeon CPU Max 系列的測試結果。這些結果不僅顯示 Intel 在 AI 推論方面可提供具競爭力的效能表現，更強化 Intel 的承諾－在客戶端、邊緣、網路、雲端等一連串 AI 工作負載中，讓 AI 更容易大規模地落實應用。

在今年 6 月更新的 MLCommons AI 訓練和 Hugging Face 效能基準測試，驗證了Gaudi2 在最先進視覺語言模型方面的效能優勢；而 9 月 11 日的結果近一步強化 Intel 是滿足 AI 運算需求，能夠替代同類型競品的可行方案。

每位客戶均有獨特的考量，而Intel 提供可解決一連串AI工作負載推論與訓練難題的產品，將 AI 落實到每個角落。Intel 的 AI 產品讓客戶能夠根據各自的效能、效率和成本目標，在選擇最佳 AI 解決方案時擁有靈活性和選項，同時協助客戶打破封閉的生態系。

Habana Gaudi2 結果：Habana Gaudi2 的 GPT-J 推論效能結果，為其極具競爭力的效能提供有力的驗證。

• Gaudi2 在 GPT-J-99 和 GPT-J-99.9 的伺服器查詢（query）和離線樣本推論效能，分別為每秒 58 個查詢和每秒 84.08 個樣本。
• Gaudi2 的效能是 NVIDIA A100 的 4 倍（伺服器）和 2 倍（離線）。
• Gaudi2 的提交結果使用 FP8，在此新資料類型的準確度高達 9％。

Gaudi2大約每6週至8週釋出一次軟體更新，Intel 預期在MLPerf基準測試中繼續提升效能並擴大模型覆蓋範圍。

Intel Xeon 結果：Intel 提交第4代Intel Xeon可擴充處理器的結果，其中包含GPT-J在內的所有7項推論基準測試。這些結果展現出通用AI工作負載的優異效能，包含視覺、語言處理、語音和音訊翻譯模型，以及規模更大的DLRM v2推薦和ChatGPT-J模型。此外，Intel 仍是唯一一家使用業界標準深度學習生態系軟體來提交公開CPU結果的供應商。

• 使用最流行的 AI 框架與函式庫建立並部署通用AI工作負載，第 4 代 Intel Xeon 可擴充處理器為其理想之選。1 篇新聞文章約 1,000 字至 1,500 字的 GPT-J 100 字摘要工作，第 4 代 Intel Xeon 處理器在離線模式下每秒可總結 2 個段落，即時伺服器模式下每秒總結 1 個段落。
• Intel 首次提交 Intel Xeon CPU Max 系列的 MLPerf 結果，該系列可提供高達 64GB 的高頻寬記憶體。在 GPT-J 方面，它是唯一能夠達成 9％ 準確度的 CPU，這對於需要最高精準度的應用而言十分重要。
• Intel 和原始設備製造商（OEM）客戶合作，提交他們自己的結果，進一步展現搭載Intel Xeon處理器通用伺服器的AI效能可擴展性和廣泛可用性，這些伺服器能夠滿足客戶的服務等級協議（SLA）。

MLPerf 被普遍認為是 AI 效能方面最具聲譽的基準測試，能夠進行公平、可重現的效能比較。Intel 預計將為下次的 MLPerf 基準測試提交新的 AI 訓練結果。效能持續不斷的更新，代表 Intel 致力於支援客戶，並針對每個AI節點提出解決方案－從低成本的 AI 處理器，再到網路、雲端和企業用戶所需的最高效能 AI 硬體加速器和 GPU。

source：MLPerf Inference v3.1的效能指標（基準測試結果）、MLCommons 宣布