CPU 上的人工智慧推論

概述

利用 Arm CPU 提供出色的人工智慧推論

人工智慧的版圖迅速演進發展，每天都有各種新型與多元的人工智慧應用問世，而大規模部署的人工智慧也即將到來。Arm CPU 是讓人工智慧無所不在的基礎，也是全球最普及的人工智慧运算平台的核心。人工智慧解決方案在雲端到邊緣的每個領域中，都仰賴我們的高效能、效率、安全性及擴充性組合而成長茁壯。Arm CPU 對滿足持續演進的人工智慧工作負載需求來說居於有利位置，涵蓋推動生成式人工智慧的大型語言模型 (LLM)，乃至於小型的專門領域人工智慧模型。Arm CPU 在所有領域促成熱門的工具鏈，並與所有主要作業系統及人工智慧框架整合，確保順暢的開發體驗及無縫加速效果。

在 CPU 上的人工智慧

哪些人工智慧工作負載最適合在 CPU 執行？

优点

Arm CPU 為人工智慧提供的各項效益

享有弹性及节能效能，无须牺牲安全性

我們功耗效率是我們所有产物的基礎，涵蓋微控制器到超大規模運算業者。Arm CPU 以具吸引力的節能效能及彈性組合，成為眾多人工智慧工作負載的首選基礎。

我們 30 多年來不斷精進安全性架构，保護數十億裝置對抗常見的駭客攻擊；現在於 CPU 執行的人工智慧，可受益於這類架构安全性功能，包括 Armv9 的最新強化功能。

普及的全球平台為开发人员移除碎片化

Arm 架构 CPU 是人工智慧普及全球的核心。我們的技術遍及各個領域，協助 Arm 开发人员在各種應用快速採用機器學習 (ML) 技術，因應模型的演進發展。

我們投資各式各樣的軟體函式庫及工具，並與所有主要作業系統及人工智慧框架整合，協助確保开发人员能夠輕鬆在 Arm CPU 進行最佳化、開發及部署人工智慧。我們也持續承諾投資軟體生態系，以配合不斷進展的人工智慧工作負載。

打造客製化异质人工智慧的独特途径

對於受益於額外加速的工作負載，Arm CPU 能與 Arm 及合作伙伴的繪圖處理器和 NPU 緊密配合提供客製化途徑，讓人工智慧的未來成真。

我們的合作伙伴探索次世代人工智慧運算的各項需求，而 Arm 種類多樣的 IP 及運算子系統 (CSS) 則為合作伙伴提供途徑協助打造客製化系統，並擁有可因應獨特的人工智慧工作負載需求的彈性。

成功案例

合作伙伴创新

运算平台

以顶尖的人工智慧框架加速工作负载

Two Decades of AI Architecture Innovation thumbnail

20 年來的人工智慧架构创新成果

Arm 將工作重點放在快速進展的架构创新，協助廣大的生態系做好準備，因應瞬息萬變的運算需求及人工智慧的未來發展。Arm 過去 20 年來持續主動發展 CPU 的人工智慧功能，提供 Neon、Helium、可擴展向量延伸指令集 (SVE)、可擴展矩陣延伸指令集 (SME) 及其他功能。最新的 Armv9 架构功能除了提升運算效能，也降低人工智慧工作負載的耗電量。

Armv9 架构

Arm 與頂尖的人工智慧框架及作業系統合作，協助確保在各種 Arm CPU 快速輕鬆地部署，因應持續擴展的人工智慧工作負載。我們採用及开源软体來最佳化新模型的技術支援關鍵合作伙伴，以加速人工智慧，例如獲得各種框架及獨立軟體供应商使用的 Arm Kleidi。針對人工智慧框架層級進行加速，有助於在 Arm CPU 以最廣大的範圍推動人工智慧加速，涵蓋數十億個在邊緣、行動裝置及雲端安裝的人工智慧推論工作負載。在沒有進行任何額外最佳化的情況下，應用程式开发人员可預期人工智慧工作負載於 Arm CPU 達到預設的最佳效能，這些都要歸功於我們在游戏、電腦視覺及語言模型等領域的工作成果。

探索 Arm Kleidi

资源

51本色

利用 Arm CPU 提供出色的人工智慧推論

瞭解 CPU 推論的指南

哪些人工智慧工作負載最適合在 CPU 執行？

传统机器学习及深度学习

生成式人工智慧