NVIDIA 首度公布在 Arm 架構伺服器上的人工智慧推論效能測試結果

根據最新的 MLPerf 基準測試結果證明，NVIDIA 在使用 x86 或 Arm 架構的 CPU 進行人工智慧 (AI) 推論方面取得最佳成績。

這是 NVIDIA 連續第三度在 MLCommons 的推論測試中，創下效能及能源效率的紀錄。這也是資料中心類別首次在 Arm 架構系統上進行測試，讓用戶在部署當今最具變革的 AI 技術時，擁有更多的選擇。

比較結果

搭載 NVIDIA AI 平台的電腦在最新一輪的七項推論效能測試中均拔得頭籌，這些系統由 NVIDIA 及九個商業生態系合作夥伴所推出，包含阿里巴巴、戴爾科技 (Dell Technologies)、富士通 (Fujitsu)、技嘉 (GIGABYTE)、慧與科技 (Hewlett Packard Enterprise)、浪潮 (Inspur)、聯想 (Lenovo)、Nettrix 及美超微 (Supermicro)。

NVIDIA 也是唯一一間公布本輪及迄今每一輪 MLPerf 測試結果的公司。

自動產生的描述

推論是電腦運行 AI 軟體來辨識物體或進行預測時發生的過程。這是一個使用深度學習模型來篩選資料的過程，以找出人類無法取得的結果。

MLPerf 的推論基準是基於當今最熱門的 AI 作業負載和情境，涵蓋電腦視覺、醫療影像、自然語言處理、推薦系統與強化學習等。因此，不論用戶部署哪些 AI 應用程式，皆能透過 NVIDIA 的技術創下自己的紀錄。

為何效能如此重要

隨著 AI 的應用場景從資料中心擴大到邊緣和其它地方，AI 模型及資料集的規模持續擴大。這正是為什麼用戶在進行部署時，需要同時兼具可靠性與靈活性的效能的原因。

MLPerf 讓用戶有信心地做出購買決策。在包括阿里巴巴、Arm、百度、Google、英特爾 (Intel) 及 NVIDIA 等數十家產業領導者的支持下，提出透明且客觀的測試結果。

具彈性的 Arm 架構適用於企業人工智慧

全球各地的資料中心採用 Arm 架構系統的比例越來越高，部分原因在於其能源效率及效能方面的提升，以及不斷擴大的軟體生態系。

最新的基準測試結果證明，作為一個 GPU 加速平台，採用 Ampere Altra CPU 的 Arm 架構伺服器在 AI 推論作業方面，提供與類似配置之 x86 架構伺服器幾乎相同的效能表現。事實上，在其中一項測試中，Arm 架構伺服器的表現甚至優於類似的 x86 架構系統。

NVIDIA 一直以來支援各種 CPU 架構，因此我們很高興看到 Arm 在同行審議的產業基準中，證明其在 AI 方面的實力。

合作夥伴展現其在人工智慧領域的堅強實力

NVIDIA 的 AI 技術有著龐大且不斷成長的商業生態系作為後盾。在最新的基準測試中，7 家 OEM 業者共提交 22 個 GPU 加速平台。當中多數伺服器機型均取得 NVIDIA 認證，證明可用於運行各種加速作業負載；其中也有許多伺服器支援上個月正式推出的 NVIDIA AI Enterprise 軟體。

有參與本輪測試的合作夥伴包括戴爾科技、富士通、慧與科技、浪潮、聯想、Nettrix 及美超微，以及雲端服務供應商阿里巴巴。

軟體實力

NVIDIA 的 AI 技術在各種應用場景中皆取得成功的關鍵因素，便是因為擁有完整的軟體堆疊。

像是我們擁有針對各種應用場景進行預先訓練的 AI 推論模型。NVIDIA TAO 工具套件利用遷移學習 (transfer learning) 為特定應用項目量身打造模型。

我們的 NVIDIA TensorRT 軟體針對 AI 模型進行最佳化調整，以善加利用記憶體並提高運行速度。我們經常將它用來進行 MLPerf 測試，其可用於 x86 和 Arm 架構的系統。

我們也在這些基準測試中使用 NVIDIA Triton 推論伺服器軟體和多執行個體 GPU (MIG) 功能。它們為所有開發人員提供通常需要專家級程式碼開發人員才能達到的效能表現。

由於 NVIDIA 不斷改善此軟體堆疊，與四個月前的 MLPerf 推論基準測試結果相比，其效能提升 20%，而能源效率亦上升 15%。

我們在最新基準測試中使用的各項軟體可以在 MLPerf 資源庫中取得，且任何人皆可複製重現我們的基準測試結果。我們會持續將這些程式碼加入深度學習框架和容器中，在我們的 GPU 應用程式軟體中心 NGC 中便能取得這些框架和容器。

其為完整堆疊 AI 產品的一部分，支援每一種主要的處理器架構、通過最新產業基準測試的認證，並可用於處理當今真正的 AI 作業。

欲瞭解更多關於 NVIDIA 推論平台的相關資訊，請瀏覽 NVIDIA 推論技術概要。

source: blogs.nvidia.com