实现大规模的生成式人工智慧
生成式人工智慧爆炸性成長只是剛開始而已。Boston Consulting Group 預測人工智慧將增加三倍的能源使用量,光是生成式人工智慧就預期佔據其中的 1%,對現今電網造成挑戰。同時大型語言模型 (LLM) 也會隨時間提升效率,而在邊緣大規模部署推論也預期會大幅增加。這項成長趨勢早已開始,面對未來的各種難題,技術生態系正在 Arm 架构上部署生成式人工智慧。
生成式人工智慧的未來建構於 Arm 之"上
藉由小型語言模型 (SLM) 有效率地產生程式碼
小型語言模型 (SLM) 提供量身打造的人工智慧解決方案,不但降低成本,也更容易取得並提升效率。這類模型易於自訂及控制,是各種應用的理想選擇,例如用於產生內容和程式碼。
在 Arm 架构的 AWS Graviton3 CPU 上達到同級最佳的文之"a生
伺服器 CPU (例如基於 Arm Neoverse 架构的 Graviton 處理器) 可提供效能優異且具成本效益的彈性選項,協助开发人员在生成式人工智慧應用程式中,部署更小且更著重於特定目標的 LLM。
智慧型手机上的生成式人工智慧
创新的語音筆記摘要功能
本示範顯示 LLM 及語音轉換文字模型如何在管道中共同運作,以製作語音筆記的摘要及逐字稿。這在無法收聽音訊的情況下,可說是省時的理想選擇,例如在特別嘈雜的環境中。
實際文字摘要使用场景?
在這項示範中,包含多名參與者的群組聊天訊息,以易於理解的格式迅速去蕪存菁列出關鍵要點。這也可用於產生電子郵件摘要,或用於包含相片的多模態使用场景,做為產生摘要過程的一部分。
聊天机器人演进发展成為即时助理
結合 LLM 與自動語音辨識和語音產生模型,就有機會實現保留情境的即時對話。在飛航模式中示範執行此項虛擬助理,展現 Arm CPU 完全在裝置內處理生成式人工智慧工作負載的能力。
生成式人工智慧由 CPU 開始

Arm 技術提供高效基礎,推動人工智慧大規模加速,促成生成式人工智慧在手機、個人電腦及資料中心執行。這要歸功於 20 年來 CPU 架构在向量及矩陣處理方面的架构创新成果。
這些投資所促成的创新成果,除了加速人工智慧運算,也提供安全性協助保護寶貴模型,並讓开发人员享有流暢的部署體驗。
适用於生成式人工智慧推论的异质解决方案

為了让生成式人工智慧快速扩展规模,我们必须确保在平台层级考量人工智慧需求,以实现所有运算工作负载。
進一步瞭解我們頂尖的人工智慧運算平台,包括繪圖處理器和 NPU 等一系列的 CPU 及加速器产物組合。
生成式人工智慧创新的軟體合作關鍵要素
Arm 參與多項策略合作關係,推動人工智慧架构的體驗,同時提供廣泛的軟體函式庫及工具,並與所有主要作業系統及人工智慧框架合作整合。我們的目標是確保开发人员能夠順利進行最佳化,無須浪費寶貴资源。
协助人工智慧工作负载顺畅加速
深入探索 Arm 如何確保讓每名开发人员、每個模型及每個工作負載都能順暢加速。Arm Kleidi 讓 CPU 推論能夠容易取得及使用,即使是最繁重的生成式人工智慧工作負載也不例外。
在 Arm 架构上高效執行生成式人工智慧
需要建議,瞭解如何在 Arm 架构上高效執行以生成式人工智慧強化的工作負載嗎?這類放在 Hugging Face 的资源,可協助您更快速建構、部署及加速各種模型,包括大型及小型語言模型,以及自然語言處理 (NLP) 模型。