智能手機革命性的技術突破停滯已久。GPT出現(xiàn)后，業(yè)界逐漸達成共識：在智能終端（包括手機）落地端側大模型，將再次拉開激動人心的重大創(chuàng)新的大幕。

在上海MWC 2023期間，榮耀CEO趙明宣稱，榮耀將在智能手機端推動部署端側大模型，以此作為榮耀新一輪產(chǎn)品技術攻堅的起點。但在7月12日，趙明沒有披露其新一代折疊屏Magic V2端側AI大模型的相關信息。

目前，端側大模型的呈現(xiàn)形式均為軟件。華爾街見聞了解到，榮耀AI大模型也將呈以軟件形式，很可能被整合在MagicOS 8.0版本中。

不同于榮耀提出的在智能手機端部署AI大模型的能力著眼于未來，今年2月，高通已首次在Android智能手機上部署Stable Diffusion模型，十多秒即能生成AI圖像。

高通產(chǎn)品管理高級副總裁兼AI負責人Ziad Asghar認為，大模型將迅速重塑人機交互方式。

高通先行：洞察個體需求

7月12日，榮耀發(fā)布新一代旗艦機“Magic V2”。在此之前的6月29日，榮耀CEO趙明曾公開宣稱，Magic V2將具有革命性的越級體驗。榮耀希望以此與行業(yè)一起，打破蘋果一家獨大局面。趙明同時表示，榮耀將率先將AI大模型引入端側。

但在7月12日，趙明對Magic V2的技術特性或產(chǎn)品特征等信息的闡述，著重的是該機型的厚度（9.9mm）和重量（231克），卻并未涉及端側AI大模型。此舉與趙明此前對Magic V2的端側AI大模型吹風形成鮮明對比。若是細品趙明在6月29日的說法——“未來將率先把AI大模型引入端側”，趙明或許意有所指。據(jù)華爾街見聞了解，未來榮耀要發(fā)布的MagicOS 8.0版，在部署AI大模型方面，很可能就會有所動作。

榮耀的AI大模型在端側到底具有什么樣的能力，這是個什么樣的軟件矩陣（包括編譯/解碼器、算力平臺、能耗控制、參數(shù)數(shù)量和開發(fā)工具等），目前不得而知。

從行業(yè)層面看，高通已在今年2月首次在智能手機上實現(xiàn)了AI模型部署。到今年5月，高通部署的Stable Diffusion模型參數(shù)已增至10億+。

Stable Diffusion是一個從文本到圖像的生成式AI擴散模型，能基于任何文本輸入，在數(shù)十秒內創(chuàng)作出逼真圖像。

目前AI繪畫最火的模型是Midjorney和Stable Diffusion，但目前Midjourney模型沒有開源。Stable Diffusion由StabilityAI公司于2022年提出，論文和代碼都已開源。Stable Diffusion是Diffusion的改進版，主要作用是解決Diffusion模型的速度問題。

關于文字怎么生成圖片，技術原理解釋起來過于復雜。簡單來說，從Stable Diffusion最初的名字“Latent Diffusion Model（LDM）”看，本質是壓縮了圖片的像素，尺寸變小，再通過編譯器（為何提及榮耀端側大模型包含了什么樣的編譯器？）將擴散壓縮后的圖片還原成原始尺寸，其余的過程和Diffusion模型差不多類似。

在壓縮圖片的過程中，提升了文本轉化成圖片的速度，這是Stable Diffusion的主要功能。

回到高通在安卓手機中部署的Stable Diffusion模型。實現(xiàn)文本轉圖像，只是大模型在端側實現(xiàn)部署時，就像宇宙的一粒塵埃，這只是智能手機未來革命性的應用體驗的一個極小的“元素”。

通過部署端側大模型的數(shù)字助手，將成為一種超越想象的存在。未來的用戶，將有幸通過智能手機操控一切商業(yè)服務，包括餐飲、各類訂票、專業(yè)咨詢、娛樂、攝影攝像、撰稿、辦公、參與金融活動等等。

這就真能實現(xiàn)高通這位AI負責人Ziad Asghar說的那樣，“大模型有能力真正重塑我們與應用交互的方式”。

只有真正在端側部署AI大模型，智能終端的“智能”一詞，才能名副其實。

趙明說，“端側AI大模型的使命就是更好地理解用戶：知道我?guī)c睡覺，知道我喜歡吃什么，能解決我的即時需求，相當于擁有洞察我需求的能力?！?/p>

做到擁有對使用者的個性需求洞察，原因是每部智能手機包含的個人應用數(shù)據(jù)，與能理解文字、影音和圖像等多模態(tài)輸入的大語言模型結合，最終智能手機的數(shù)字形式（比如虛擬數(shù)字人）就能極為精準地掌握使用者的偏好。更重要的是，這樣強悍的個性化體驗，還能建立在保護個體隱私的基礎上。

怎樣解決端側AI模型短板

目前，尚無哪家技術公司能真正全面部署端側AI大模型。

高通和華為成為了先行者。兩者的區(qū)別在于高通更加系統(tǒng)，從底層技術入手，比如利用高通AI軟件棧（Qualcomm AI Stack）執(zhí)行全棧AI優(yōu)化；而華為則更側重具體的應用體驗，但相比高通，華為的探索以其具象，從而顯得更具有節(jié)點嘗試特征。

從技術角度看，高通在智能手機中部署Stable Diffusion模型，實際上是將Stable Diffusion模型整合在手機的混合AI架構中，進而將之作為量化、編譯和硬件加速優(yōu)化等AI技術，以此支撐高度智能的應用體驗。

榮耀未來若真的在MagicOS 8.0中部署端側AI大模型，也將是這個技術原理。

實際上，通過自然語言（NLP）搜索，華為P60已能以之匹配出與描述相符的照片。這一功能，也是端側AI大模型龐大強悍能力中的一個極小的應用點。

這個應用體驗的實現(xiàn)，背后有華為多模態(tài)大模型技術和模型小型化處理技術的支撐。華為將自然語言智能搜圖模型整合進了鴻蒙系統(tǒng)（HarmonyOS），實現(xiàn)與眾不同的精準自然語言手機圖庫搜索體驗。

相比華為，高通的端側AI大模型部署，更側重系統(tǒng)性的特征。

比如，高通的全棧AI研究，是指優(yōu)化跨應用、神經(jīng)網(wǎng)絡模型、算法、軟件和硬件。針對Stable Diffusion，高通從Hugging Face（開源模型庫公司，旗下明星開源庫是“Transformers”）的FP32 1-5版本開源模型入手，通過量化、編譯和硬件加速推動優(yōu)化，使其能在搭載第二代驍龍8移動平臺的手機上運行。

在智能終端部署AI大模型，必須要解決性能和能耗問題。

首先，通過讓大模型在高通專用AI硬件上高效運行，并降低內存帶寬消耗，量化不僅能提高性能，還可降低功耗。這些包括諸如自適應舍入（AdaRound）等高通AIMET量化技術，能在更低精度水平保持模型的準確性，而無需做重新訓練。

其次，以高通AI模型增效工具包（AIMET）訓練后量化，可實現(xiàn)將大模型從FP32壓縮為INT8。這是基于高通AI Research創(chuàng)造的技術所開發(fā)的工具，目前已集成進Qualcomm AI Studio中。

這部分能力由量化完成，其作用是將大模型在精度不變的情況下，從浮點數(shù)轉變成整數(shù)，節(jié)省計算時間，以及在確保模型性能的同時，壓縮整體規(guī)模，使之更容易部署在終端。

此外，AI模型能以最高性能和最低功耗高效運行的關鍵，在于編譯器。AI編譯器將輸入的神經(jīng)網(wǎng)絡轉化為能在智能應用終端上運行的代碼，同時針對時延、性能和功耗做持續(xù)優(yōu)化。

值得一提是高通5G移動平臺驍龍8 Gen2首度集成的AI專用Hexagon處理器，采用了獨立的專用供電系統(tǒng)，支持微切片推理、INT4精度和Transformer網(wǎng)絡加速等，能在提供更高性能的同時，降低能耗和內存占用。這也是高通AI軟件棧的組成部分。

這些技術能應用于構成Stable Diffusion的所有組件模型，即基于Transformer的文本編碼器、VAE解碼器和UNet。這對于讓大模型在終端上的順利運行至為重要。

高通的全棧AI優(yōu)化，最終實現(xiàn)了通過Stable Diffusion模型在智能手機上的運行，能達成15秒內執(zhí)行20步推理，并生成一張512x512像素的圖像。這是在智能手機上最快的推理速度，能媲美云端時延，且用戶文本輸入完全不受限制。

無論是大模型公司，還是像高通這樣的終端軟硬件技術公司，抑或者是榮耀和華為一類的智能終端商，當行業(yè)實現(xiàn)上下游協(xié)同，共同推動將AI大模型在端側實現(xiàn)泛在部署，最終將真正引發(fā)新一輪智能終端的技術創(chuàng)新浪潮，切實擔起趙明所稱的在智能終端帶來革命性的應用體驗重任。

本文僅代表作者觀點，版權歸原創(chuàng)者所有，如需轉載請在文中注明來源及作者名字。

免責聲明：本文系轉載編輯文章，僅作分享之用。如分享內容、圖片侵犯到您的版權或非授權發(fā)布，請及時與我們聯(lián)系進行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com