NVIDIA

吞吐量30倍提升! NVIDIA秀Blackwell性能:打破MLPerf紀錄居第一

NVIDIA在官網表示,在最新的MLPerf V5.0基準測試中,NVIDIA的Blackwell平台取得了令人矚目的成就。

MLPerf是一個衡量人工智慧硬體、軟體和服務效能的標準化基礎測試平台,它由圖靈獎得主大衛·帕特森聯合谷歌、史丹佛、哈佛大學等頂尖企業和學術機構成立,是權威性最大、影響力最廣的國際AI性能基準測試。

最新更新的MLPerf 新增了Llama 3.1 405B,這是最大且最難運行的開放權重模型之一。

NVIDIA表示,雖然許多公司在其硬體上執行MLPerf基準測試以衡量效能,但只有NVIDIA及其合作夥伴提交並發布了Llama 3.1 405B基準測試的結果。

具體來看,GB200 NVL72系統透過連接72個NVIDIA Blackwell GPU,作為一個單一的超大GPU運行,在Llama 3.1 405B基準測試中,與H200 NVL8相比,實現了高達30倍的吞吐量提升。

據介紹,在生產環境中,推理部署通常受到兩個關鍵指標的延遲限制:首次回應時間(TTFT)和每個輸出令牌的時間(TPOT)。

新的Llama 2 70B Interactive基準測試將TPOT縮短了5倍,TTFT降低了4.4倍,模擬了更快的使用者體驗。

在這項測試中,NVIDIA使用8個Blackwell GPU的DGX B200系統,效能比使用8個H200 GPU的系統高出三倍,為這更具挑戰性的Llama 2 70B基準測試設定了新的高標準。

來源

延伸影片閱讀:  
Previous post

Intel Vision 指出 Core Ultra 300 系列 Panther Lake 行動處理器將於 2026 推出

Next post

微星為創作者推出性能強悍的 Creator A16 AI+ 筆記型電腦

The Author

kai

kai