Arm 針對物聯網邊緣端推出具有 Cortex-A320 核心的首款 Armv9 邊緣 AI 運算平台

針對物聯網等邊緣運算需求，Arm 宣布推出首款 Armv9 邊緣 AI 運算平台，以全新的 Cortex-A320 CPU 搭配 Ethos-U85 NPU 組合提供高能效、效能與安全等特性。

在 AI 帶來的熱潮之下，讓許多人注意到人工智慧應用帶來的好處，也讓更多產品加入人工智慧，希望能提供更具效率的應用。物聯網隨著應用與需求的提升，加入人工智慧便需要更多的運算能力，同時也要考量能耗等問題。面對許多的新需求下，廠商需要快速推出解決方案，以滿足新一代不同的智慧應用需求。

(左起) Arm 物聯網事業部亞太區資深經理黃晏祥、Arm 應用工程總監徐達勇、Arm 主任應用工程師林宜均

Arm 首款 Armv9 邊緣 AI 運算平台以新的 Cortex-A320 CPU 結合 Ethos-U85 NPU 可執行超過 1B 參數的模型

針對物聯網邊緣裝置運算需求，Arm 宣布推出首款 Armv9 的邊緣人工智慧運算平台，以全新超高效率的 Cortex-A320 CPU 結合支援 Transformer 運算子網路的 Ethos-U85 NPU 邊緣 AI 加速器，相較於去年推出的 Cortex-M85 平台，新邊緣 AI 運算平台的機器學習效能提高八倍！此外，新平台可支援在基於代理人的 AI 應用上運行經過調校的大型語言模型（LLM）和小型語言模型 （SLM），其中大語言模型可支援超過 1B 參數。

專為物聯網能效最佳化的 Cortex-A320 擁有更佳的能效與效能表現

Cortex-A320 為物聯網帶提供先進的 AI 功能和開發優勢，將 Armv9 架構擴展至高效率的裝置並提供全面的軟體支援。在 AI 應用方面，Cortex-A320 充分發揮 Armv9 架構優勢，包括強化的 NEON 與 SVE2 (可擴展向量延伸指令集)向量處理技術、新的 BFloat16 資料型態、矩陣乘法新指令等，大幅提升 ML 效能，相較前代產品 Cortex-A35 提升十倍，純量效能提升 30%。同時在能源使用效率也更好相對於 Cortex-A520，其能效高出 50%。

新平台可用 Cortex-A 直接驅動 Ethos-U85 NPU

之前推出的 Cortex-M 加 Ethos-U85 物聯網參考設計平台，在新平台推出後，即可直接使用 Cortex-A320 直接驅動Ethos-U85，不需要 Cortex-M 核心，以降低成本與系統複雜度。而且新平台擁有更好的記憶體存取效能，Cortex-A 可支援比 Cortex-M 更大的記憶體，也更有能力靈活處理多層記憶體存取延遲，以因應執行大型多模態網路的記憶體需求。

Armv9 可提供更高的安全性以及更強的 AI 運算能力

新平台採用的 Armv9.2 架構也為最小的 Cortex-A 裝置提供先進的安全功能，包括指標驗證 （PAC）、分支目標識別（BTI）和記憶體標籤擴充（MTE）…等等，這些安全功能對邊緣裝置非常重要，因為這類裝置通常在暴露的環境中運作並處理敏感性資料。

Cortex-A320 讓 Armv9 在物聯網應用的產品組合更為豐富

隨著邊緣 AI 在 Arm 平台上持續整合，新加入的產品讓 Arm 現可為物聯網應用提供最為先進的 Armv9 Cortex 處理器系列，產品組合可提供極致效能的 X925 到成本和電源受限的裝置等不同應用。

邊緣 AI 普及所面臨最主要障礙之一就是軟體發展和部署的複雜性，而 Armv9 邊緣 AI 運算平台軟體生態系優勢將可解決這樣的問題。Arm 將 Arm Kleidi 擴展到物聯網，此針對 AI 框架開發人員的運算庫，可提升基於 Arm CPU 的 AI 和 ML 工作負載而無需開發人員額外操作。

KleidiAI 已整合到常見的物聯網 AI 框架中，如 Llama.cpp 和 ExecuTorch 或 LiteRT（透過 XNNPACK），加速 Meta Llama 3 和 Phi-3 等關鍵模型的效能。例如，在 Llama.cpp 上運行微軟的 Tiny Stories 資料集時，KleidiAI 為新的 Cortex-A320 帶來了高達 70% 的效能提升。

Cortex-A320 可支援包括 RTOS、Linux及 Android等作業系統

新平台提供物聯網市場中 Cortex-A 系列升級至支援 Armv9 的路徑

新的邊緣 AI 運算平台確保與高效能 Cortex-A 處理器的軟體相容性，讓開發人員能打造可隨需求變化而調整的解決方案。藉由龐大的 Armv9 生態系以及 Linux、Android 等作業系統和 Zephyr 等即時作業系統(RTOS)的相容性，擁有極佳的靈活性，開發人員可充分運用現有的工具、知識以及軟體重複使用優勢，進而加快產品上市時間並降低總體擁有成本，也能為物聯網市場中Cortex-A35或 A53等產品提供升級至 v9 的路徑。

Arm 新推出的平台可讓合作夥伴能在雲端到邊緣端的各種場景中部署強大的  Armv9 技，目前已受到包括 AWS、西門子、瑞薩電子、研華科技和 Eurotech 等支持。

未來 AI 的趨勢將轉向邊緣，新的 Arm 邊緣 AI 運算平台將成為新一波物聯網創新的催化劑。Armv9 架構的特性、先進的 AI 功能和全面軟體支援，可為 OEM 廠商和開發人員創造新的可能性。