Arm 與微軟合作，為基于 Arm 架構(gòu)的 PC 和移動(dòng)設(shè)備應(yīng)用提供超強(qiáng) AI 體驗(yàn)
Arm KleidiAI 與 ONNX Runtime 的集成，為 Windows 和安卓操作系統(tǒng)帶來(lái)了顯著的 AI 性能優(yōu)化，實(shí)現(xiàn)高達(dá) 2.6 倍的 AI 推理速度提升，從而加速應(yīng)用體驗(yàn)。
http://www.199rrr.com 2025-05-19 16:56 來(lái)源：Arm
隨著人工智能 (AI) 成為當(dāng)今個(gè)人電腦 (PC) 和移動(dòng)設(shè)備使用體驗(yàn)（從聊天機(jī)器人到生產(chǎn)力提升）中不可或缺的一部分，這些設(shè)備對(duì) CPU 高效、可擴(kuò)展的推理需求也在持續(xù)增長(zhǎng)。Arm 與微軟正攜手合作以滿足這一需求，在從高端臺(tái)式電腦和筆記本電腦到旗艦級(jí)和入門(mén)級(jí)智能手機(jī)等各類廣泛的消費(fèi)類電子設(shè)備上，為用戶帶來(lái)加速的 AI 體驗(yàn)。
Arm 和微軟共同將 Arm KleidiAI 進(jìn)一步擴(kuò)展到 ONNX Runtime （業(yè)界廣泛使用的開(kāi)源 AI 運(yùn)行時(shí)之一）中。KleidiAI 是一款面向 AI 框架開(kāi)發(fā)者的輕量級(jí)內(nèi)核庫(kù)，它能夠在無(wú)可比擬的規(guī)模下，為廣泛的技術(shù)市場(chǎng)以及各類基于 Arm 架構(gòu)的設(shè)備，提供 AI 模型和工作負(fù)載的無(wú)縫性能優(yōu)化。鑒于 KleidiAI 已成功集成到其他領(lǐng)先的 AI 框架上，這次的合作是在此成功基礎(chǔ)上的又一重要進(jìn)展。
加速邊緣設(shè)備上的 AI 體驗(yàn)
Windows on Arm 生態(tài)系統(tǒng)在過(guò)去幾年實(shí)現(xiàn)了顯著的增長(zhǎng)。包括 Adobe Photoshop、Google Chrome、Spotify 和 Zoom 等廣受歡迎的應(yīng)用程序，都紛紛推出了 Arm 原生版本，以充分發(fā)揮其性能和能效優(yōu)勢(shì)。通過(guò)將 KleidiAI 集成到 ONNX Runtime 中，廣大的應(yīng)用程序開(kāi)發(fā)者無(wú)需額外投入工程時(shí)間，就能獲得 PC 和移動(dòng)設(shè)備的 AI 性能提升。ONNX Runtime 為微軟諸多產(chǎn)品的 AI 工作負(fù)載提供支持，包括 Microsoft 365 套件以及 Microsoft Copilot 等，并為 Copilot + PC 打造卓越的 AI 體驗(yàn)。
KleidiAI 與 ONNX Runtime 的集成優(yōu)化了包含 Phi-3 Mini 等一系列模型在內(nèi)的 AI 工作負(fù)載。Phi-3 Mini 是一個(gè)擁有 38 億參數(shù)的小型語(yǔ)言模型，專為邊緣設(shè)備的先進(jìn) AI 體驗(yàn)量身定制。這些 AI 體驗(yàn)包括實(shí)時(shí)聊天機(jī)器人、虛擬助手、智能文本補(bǔ)全以及生產(chǎn)力工具的功能增強(qiáng)等，所有這些功能均可在設(shè)備本地實(shí)現(xiàn)。通過(guò)將 Phi-3 Mini 緊湊的結(jié)構(gòu)與 KleidiAI 高效的 CPU 執(zhí)行提供程序 (Execution Provider) 集成配對(duì)，開(kāi)發(fā)者無(wú)需依賴云端連接，即可在設(shè)備上快速實(shí)現(xiàn)智能功能。
提升 PC 和移動(dòng)設(shè)備上的實(shí)際 AI 性能
在 PC 和移動(dòng)平臺(tái)上，該集成已為終端用戶帶來(lái)了切實(shí)的益處。它顯著加快了 AI 的響應(yīng)速度，使設(shè)備能夠直接實(shí)現(xiàn)更智能、更快速的交互，且無(wú)需開(kāi)發(fā)者進(jìn)行架構(gòu)改動(dòng)或后端重寫(xiě)。
根據(jù) Arm 的基準(zhǔn)測(cè)試顯示，在 KleidiAI 集成到 ONNX Runtime 后，系統(tǒng)性能得到了顯著的提升，包括在基于 Armv9 平臺(tái)的 Windows 設(shè)備上運(yùn)行 Phi-3 模型時(shí)，提示處理吞吐量提升了 2.4 倍，詞元 (token) 生成速度加快了 12%。這些性能改進(jìn)使聊天機(jī)器人等 AI 應(yīng)用能夠給出更加自然流暢的回應(yīng)。同樣地，在搭載最新 Armv9 CPU 的 vivo X200 Pro 旗艦智能手機(jī)上運(yùn)行相同 Phi-3 模型的參考安卓應(yīng)用中，提示處理速度加快了 2.6 倍。
由于 KleidiAI 的集成運(yùn)行在全球應(yīng)用廣泛的 Arm CPU 架構(gòu)上，這使得 AI 應(yīng)用與工作負(fù)載能夠在不同的生態(tài)系統(tǒng)及芯片組之間無(wú)縫移植。KleidiAI 的設(shè)計(jì)旨在與當(dāng)前的 Arm 架構(gòu)特性，如 Neon、可伸縮矢量擴(kuò)展 (SVE2) 及可伸縮矩陣擴(kuò)展 (SME) ，展開(kāi)協(xié)同工作。這些面向未來(lái)的功能確保開(kāi)發(fā)者能夠構(gòu)建當(dāng)下的 AI 增強(qiáng)體驗(yàn)，并使其隨著未來(lái)的硬件創(chuàng)新而擴(kuò)展。KleidiAI 與 ONNX Runtime 的集成已在 ONNX RT V1.22 中發(fā)布。
推動(dòng) AI 規(guī)?；涞?/strong>
Arm 與微軟的合作為開(kāi)發(fā)者普及優(yōu)化 AI 邁出了變革性的一步。該合作簡(jiǎn)化了在各類 PC 和移動(dòng)設(shè)備上部署智能功能的流程，無(wú)需增加成本或開(kāi)發(fā)工作量，同時(shí)為終端用戶帶來(lái)加速的 AI 體驗(yàn)。隨著 AI 的持續(xù)演進(jìn)，這些優(yōu)化工作將確保開(kāi)發(fā)者、OEM 廠商和操作系統(tǒng)提供商擁有出色的性能、靈活性和廣泛的覆蓋范圍，為更多用戶帶來(lái)更優(yōu)質(zhì)、更智能的體驗(yàn)。
訪問(wèn)以下學(xué)習(xí)路徑，了解 KleidiAI 與 ONNX Runtime 集成的更多信息：
在基于 Arm 的 Windows 設(shè)備上，通過(guò) ONNX Runtime 運(yùn)行 Phi-3 模型
相關(guān)新聞
- ? 擁抱基礎(chǔ)設(shè)施變革，抓住人工智能的萬(wàn)億美元機(jī)遇
- ? Arm 驅(qū)動(dòng)下一代機(jī)器人創(chuàng)新浪潮
- ? Arm 生態(tài)系統(tǒng)：從云端到邊緣全面驅(qū)動(dòng) AI
- ? Arm 發(fā)展之路：從 IP 邁向 AI 時(shí)代的計(jì)算平臺(tái)
- ? Arm 技術(shù)驅(qū)動(dòng)安全智能出行，明星車型閃耀上海車展
- ? Arm攜手AWS助力實(shí)現(xiàn)AI定義汽車
- ? Arm 架構(gòu)將占據(jù)半數(shù) 2025 年出貨到頭部云服務(wù)提供商的算力
- ? Arm 架構(gòu)將占據(jù)半數(shù) 2025 年出貨到頭部云服務(wù)提供商的算力
- ? Arm 榮登《Fast Company》2025 年度最具創(chuàng)新力 AI 公司榜單
- ? 釋放 AI 潛能，Arm 計(jì)算平臺(tái)構(gòu)建計(jì)算與存儲(chǔ)的未來(lái)
編輯精選
- ? ABB推出三大全新機(jī)器人系列，強(qiáng)化中國(guó)機(jī)器人市場(chǎng)領(lǐng)導(dǎo)地位
- ? 臺(tái)達(dá)召開(kāi)首屆“工業(yè)自動(dòng)化技術(shù)大會(huì)”
- ? 霍尼韋爾成功舉辦首屆中國(guó)增長(zhǎng)峰會(huì) 集全球智慧共筑本土創(chuàng)新
- ? 丹佛斯慶祝傳動(dòng)北京研發(fā)中心成立20周年
- ? 2025年中國(guó)工業(yè)機(jī)器人行業(yè)市場(chǎng)前景預(yù)測(cè)研究報(bào)告
- ? 傳GE Vernova考慮出售工業(yè)軟件業(yè)務(wù)Proficy 售價(jià)高達(dá)10億美元
- ? 工業(yè)大模型應(yīng)用進(jìn)入廣泛探索階段，多方入局進(jìn)入“百家爭(zhēng)鳴”時(shí)代
- ? 2025研華智能系統(tǒng)產(chǎn)業(yè)伙伴峰會(huì)成功舉辦
- ? 西門(mén)子新收購(gòu)?fù)瓿桑」I(yè)驅(qū)動(dòng)家族再擴(kuò)充
- ? 強(qiáng)強(qiáng)聯(lián)手！港科大與比亞迪共建具身智能聯(lián)合實(shí)驗(yàn)室
工控原創(chuàng)
- ? 一文速覽七月工業(yè)自動(dòng)化領(lǐng)域熱點(diǎn)新聞
- ? 2025數(shù)字化及智能制造技術(shù)論壇在青島圓滿落幕， 這些議題值得關(guān)注！
- ? ABB以本土化創(chuàng)新與AI賦能，引領(lǐng)中國(guó)機(jī)器人市場(chǎng)新篇章
- ? 一文get六月工控自動(dòng)化大事
- ? ABB加速器中國(guó)周：當(dāng)AI邂逅硬核工業(yè)，一場(chǎng)自下而上的智造革命
- ? 點(diǎn)擊了解5月工控圈那些事兒
- ? 分拆上市還是出售？ABB機(jī)器人業(yè)務(wù)將何去何從
- ? 打造標(biāo)桿案例及生態(tài)圈，ABB全力推動(dòng)Ethernet-APL應(yīng)用加速
- ? 你關(guān)心的四月份工控大事全在這里
- ? 匯川技術(shù)2024年財(cái)報(bào)解析：多元化布局彰顯增長(zhǎng)韌性
