AMD

AMD Ryzen AI 300 系列處理器釋放消費級 LM Studio 大型語言模型的巔峰效能

語言模型自 GPT-2 以來已取得大幅進步,使用者現在可以藉由 LM Studio 等消費級應用程式快速且輕鬆地部署高度複雜的大型語言模型(LLM)。透過與 AMD 合作,這些工具讓每個人都能使用人工智慧(AI),且無需任何編碼或技術知識。

 

llama.cpp 和 LM Studio概述

LM Studio 基於 llama.cpp 項目,是一個廣受歡迎的框架,用於快速且輕鬆地部署語言模型。LM Studio 沒有相依性(dependencies),僅使用 CPU 即可進行加速,亦支援 GPU 加速功能。LM Studio 使用 AVX2 指令集來加速基於 x86 CPU 的現代 LLM。

 

效能對比:吞吐量和延遲

AMD Ryzen AI 為這些最先進的工作負載進行加速,在 x86 筆電上運行 LM Studio 等基於 llama.cpp 的應用程式提供領先業界的效能。值得注意的是,LLM 通常對記憶體速度非常敏感。

在我們的對比測試中,Intel 筆電的 RAM 實際上速度較快,達到 8533 MT/s,而 AMD 筆電的 RAM 為 7500 MT/s。儘管如此,AMD Ryzen AI 9 HX 375 處理器的每秒 token 生成速度(tokens per second)比競爭對手快出高達 27%。參考資料顯示 tokens per second (tk/s) 是測量 LLM 輸出token 速度的指標,大約對應於每秒在螢幕上顯示的字數。

AMD Ryzen AI 9 HX 375 處理器在 Meta Llama 3.2 1b Instruct(4-bit 量化)中可實現每秒高達 50.7 個 token 的效能。

 

對大型語言模型進行基準測試的另一個指標是「輸出首個 token 的時間(time to first token)」,測量從提交提示(prompt)至模型開始生成 token 之間的延遲時間。在較大模型中,基於AMD “Zen 5”架構的 Ryzen AI HX 375 處理器的速度相較競爭對手的同級處理器快出高達 3.5倍。

在 Windows 中使用可變顯示記憶體(VGM來提高模型吞吐量

AMD Ryzen AI CPU 中的三個加速器各自擁有特定的工作負載專業化和擅長的情境。基於 AMD XDNA 2 架構的 NPU 在執行 Copilot+ 工作負載時為持續的 AI 功能提供卓越的功耗效率,CPU 為工具和框架提供廣泛的覆蓋範圍和相容性,而內顯(iGPU)通常根據需求處理 AI 任務。

LM Studio 提供 llama.cpp 的連接埠(port),可使用與供應商無關(vendor-agnostic)的 Vulkan API 來加速框架。此加速通常取決於硬體功能和 Vulkan API 的驅動程式最佳化的組合。與僅使用 CPU 模式相比,在 LM Studio 中開啟 GPU offload 後 Meta Llama 3.2 1b Instruct 的效能平均提升 31%。Mistral Nemo 2407 12b Instruct 等較大模型在 token 生成階段由於受到頻寬限制,平均效能提升 5.1%。

我們觀察到在 LM Studio 中使用基於 Vulkan 的 llama.cpp 版本並開啟 GPU offload 時,與僅使用 CPU 的模式相比,競爭對手處理器除了其中一個模型外,其餘測試模型的平均效能皆明顯較低。因此,為了保持對比測試的公平性,我們沒有將 Intel Core Ultra 7 258v 在 LM Studio 中使用基於 Vulkan 之 Llama.cpp 的 GPU-offload 效能納入比較。

AMD Ryzen AI 300 系列處理器還包括一項名為可變顯示記憶體(VGM)的功能。通常程式會利用為 iGPU 分配的 512 MB 專用記憶區塊,以及位於系統 RAM 「共享」部分的第二個記憶區塊。VGM 讓使用者將 512 MB 的「專用」分配擴展到高達 75% 的可用系統 RAM 容量。這種連續記憶體的分配顯著提升了對記憶體敏感應用程式的吞吐量。

在開啟 VGM(16GB)後,Meta Llama 3.2 1b Instruct 的效能平均提升 22%,與使用 iGPU 加速並結合 VGM 的 CPU 模式相比,平均速度共提升 60%。Mistral Nemo 2407 12b Instruct 等更大模型相較僅使用 CPU 的模式,帶來高達 17% 的效能提升。

 

同步比較:Mistral 7b Instruct 0.3

儘管競爭對手的筆電在 LM Studio 中使用基於 Vulkan 的 Llama.cpp 版本沒有提供加速,我們仍使用 Intel AI Playground 應用程式(基於 IPEX-LLM 和 LangChain)來比較 iGPU 效能,力求在最佳的消費級 LLM 體驗之間進行公平的比較。

 

我們使用 Intel AI Playground 提供的模型,即 Mistral 7b Instruct v0.3 和 Microsoft Phi 3.1 Mini Instruct。在 LM Studio 中使用可比較的量化後,我們發現 AMD Ryzen AI 9 HX 375 在 Phi 3.1 的速度比競爭對手快 8.7%,在 Mistral 7b Instruct 0.3 的速度則快 13%。

AMD 致力於推進 AI 技術的發展,讓每個人皆能使用 AI。若最新的 AI 進展被設置在高門檻的技術或編碼技能,這目標將無法實現,這就是為何 LM Studio 等應用如此重要。除了能夠快速且輕鬆地在本地部署 LLM 外,這些應用程式讓使用者在 llama.cpp 項目支援該架構的情況下,第一時間體驗最先進的模型。

AMD Ryzen AI 加速器提供卓越效能,開啟 VGM 等功能可為 AI 使用案例提供更好的效能。所有因素結合起來後,為 x86 筆電上的語言模型提供了令人驚豔的使用者體驗。

欲親自體驗 LM Studio,請參閱此連結

 

延伸影片閱讀:  
Previous post

DeepCool 雙11特別活動, 上網登錄送雙塔散熱器

Next post

《全民打棒球 Pro》4週年! 推出全新卡片「傳奇經典」100%保證強化成功

The Author

sinchen

sinchen

我是 Sinchen。