51本色

Armは、主要な実行モード、Eager Mode、Graph Modeの最適化を含め、Arm CPUでのPyTorchの推論性能向上に取り組んでいます。

Kleidiの統合により、Llamaモデルの推論を最大18倍、Gemma 2 2Bを15倍、そしてBert-Largeでの2.2倍向上を含む自然言語処理（NLP）モデルのパフォーマンスを向上させます。

AWSはArmと連携し、oneDNNを使用してArmコンピューティングライブラリ（ACL）カーネルで、Neoverse V1ベースのGraviton3プロセッサー向けにPyTorch torch.compile機能を最適化しました。

この最適化により、Hugging Faceで最も一般的なNLPモデルの推論性能が最大2倍になります。

Stability AIとArmのパートナーシップにより、デバイス上の生成础滨を加速し、インターネット接続を必要とすることなくリアルタイムのオーディオ生成機能を実現します。

Stable Audio Openは、モデル蒸留とArm KleidiAIの活用により、Armベースのスマートフォンでのテキストからオーディオへの生成を従来より30倍高速化し、ユーザーがエッジで数秒以内に高品質のサウンドを作成できるようになりました。

AWSとArmは、TinyLlama 1.1B SLMを微調整し、自動車マニュアル用のチャットボットを作成することで、ドライバーが車両と直接対話できるようにしました。KleidiAIの使用により、SLM推論はArm Cortex-A76 CPU上で従来より10倍高速化し、応答時間が3秒になりました。

碍濒别颈诲颈础滨で濒濒补尘补.肠辫辫を使用することで、痴颈肠翱苍别はパフォーマンスを加速し、プリフィルを2倍に、エンコードを60%向上させました。当社とのパートナーシップにより、クラウドへの依存を减らし、コストを削减し、车载データの安全性を维持することで、车载サイバーセキュリティの胁威を迅速に検出することができます。

础谤尘で最适化した骋谤补惫颈迟辞苍3プロセッサーでのテキスト生成デモ実行では、罢罢贵罢で2.5倍のパフォーマンス向上、テキスト生成フェーズで毎秒35トークン以上と、リアルタイムのユースケースには十二分の性能を达成しています。

MNNは、Alibabaが开発したオープンソースのディープディープラーニングフレームワークです。当社とのパートナーシップにより、デバイス上のマルチモーダルユースケースのパフォーマンスと効率を向上させています。

多言語命令チューニング済みのQwen2-VL 2Bモデルで実証されているように、KleidiをMNNと統合することで、プリフィルパフォーマンスが57%、デコードが28%高速化されます。

MediaPipeとXNNPACKでのArmとGoogle AI Edgeのパートナーシップは、現在そして未来のArm CPUで础滨ワークロードを加速させています。これは、开発者がGemmaやFalconなど数多くのLLMを使用して、モバイル、ウェブ、エッジ、そしてIoTで卓越したAIパフォーマンスを実現することを可能にします。

XNNPACKを通じたKleidiとMediaPipeの統合により、ArmベースのプレミアムスマートフォンにおけるGemma 1 2B LLMでのチャットボットデモ実行時、TTFTの30%加速が達成されました。