实现大规模的生成式人工智慧

生成式人工智慧爆炸性成長只是剛開始而已。Boston Consulting Group 預測人工智慧將增加三倍的能源使用量,光是生成式人工智慧就預期佔據其中的 1%,對現今電網造成挑戰。同時大型語言模型 (LLM) 也會隨時間提升效率,而在邊緣大規模部署推論也預期會大幅增加。這項成長趨勢早已開始,面對未來的各種難題,技術生態系正在 Arm 架构上部署生成式人工智慧。

生成式人工智慧的未來建構於 Arm 之"上

使用 ExecuTorch 最佳化在邊緣的生成式人工智慧

透過與 Meta 的合作,Arm 讓數十億個邊緣裝置都能接觸使用人工智慧。Arm 協助加速從文之"a生和摘要到即時虛擬助理和人工智慧代理程式的推論工作負載。

藉由小型語言模型 (SLM) 有效率地產生程式碼

小型語言模型 (SLM) 提供量身打造的人工智慧解決方案,不但降低成本,也更容易取得並提升效率。這類模型易於自訂及控制,是各種應用的理想選擇,例如用於產生內容和程式碼。

在 Arm 架构的 AWS Graviton3 CPU 上達到同級最佳的文之"a生

伺服器 CPU (例如基於 Arm Neoverse 架构的 Graviton 處理器) 可提供效能優異且具成本效益的彈性選項,協助开发人员在生成式人工智慧應用程式中,部署更小且更著重於特定目標的 LLM。

使用场景

智慧型手机上的生成式人工智慧

 
 
 

生成式人工智慧由 CPU 開始

Inference on Arm CPUs

Arm 技術提供高效基礎,推動人工智慧大規模加速,促成生成式人工智慧在手機、個人電腦及資料中心執行。這要歸功於 20 年來 CPU 架构在向量及矩陣處理方面的架构创新成果。

這些投資所促成的创新成果,除了加速人工智慧運算,也提供安全性協助保護寶貴模型,並讓开发人员享有流暢的部署體驗。

探索 CPU 上的生成式人工智慧

适用於生成式人工智慧推论的异质解决方案

為了让生成式人工智慧快速扩展规模,我们必须确保在平台层级考量人工智慧需求,以实现所有运算工作负载。

進一步瞭解我們頂尖的人工智慧運算平台,包括繪圖處理器和 NPU 等一系列的 CPU 及加速器产物組合。

探索人工智慧技术

生成式人工智慧创新的軟體合作關鍵要素

Arm 參與多項策略合作關係,推動人工智慧架构的體驗,同時提供廣泛的軟體函式庫及工具,並與所有主要作業系統及人工智慧框架合作整合。我們的目標是確保开发人员能夠順利進行最佳化,無須浪費寶貴资源。

Arm Kleidi Libraries logo

协助人工智慧工作负载顺畅加速

深入探索 Arm 如何確保讓每名开发人员、每個模型及每個工作負載都能順暢加速。Arm Kleidi 讓 CPU 推論能夠容易取得及使用,即使是最繁重的生成式人工智慧工作負載也不例外。

Arm and Hugging Face logo

在 Arm 架构上高效執行生成式人工智慧

需要建議,瞭解如何在 Arm 架构上高效執行以生成式人工智慧強化的工作負載嗎?這類放在 Hugging Face 的资源,可協助您更快速建構、部署及加速各種模型,包括大型及小型語言模型,以及自然語言處理 (NLP) 模型。

探索人工智慧软体

訂閱即可掌握 Arm 人工智慧最新消息

电子报订阅