高通与中国移动优化终端小语言模型，基于骁龙平台推动终端侧AI规模化扩展

近年来,生成式AI逐渐从云端向终端侧扩展,让人们随时随地都能体验各种创新的AI功能。最近,高通在微博上表示,中国移动终端公司研发的终端小语言模型(CM-3B)成功面向骁龙旗舰移动平台完成优化,成为首个由运营商自研的语言模型在端侧应用的案例。该模型专门为高隐私低延迟的 AI 应用而打造,适配部署于旗舰智能手机。

高通是领先的无线连接与移动计算公司,长期推动终端侧AI的发展。早在去年10月,高通就推出了专为生成式AI而精心打造的移动平台——第三代骁龙8,带来高性能低功耗的终端侧AI推理能力。同时,第三代骁龙8还支持异构计算,综合运用高通AI引擎上的多样化处理器,包括CPU、GPU、NPU等,赋能终端侧实现丰富的AI用例。

今年10月,高通推出了新一代移动平台――骁龙8至尊版,首次采用一系列领先技术,包括第二代定制的高通Oryon CPU、高通Adreno GPU和增强的高通Hexagon NPU,实现了性能和能效的大幅提升,可以直接在终端侧提供个性化的多模态生成式AI,支持语音、情境和图像理解,全面增强从生产力到创意任务等各方面的体验,并且将用户隐私保护放在首位。

CM-3B是由中国移动终端公司研发,以中国移动研究院九天端侧大模型为基础打造的终端智能体,以语音助手为应用载体,在意图识别、中英互译、文本总结等终端应用方面均达到行业同参数规模领先水平。此次中国移动终端公司与高通技术公司经过一系列技术攻关,成功面向第三代骁龙8以及骁龙8至尊版移动平台进行优化,实现更佳运行表现,将为广大用户带来丰富的终端侧AI体验,推动终端侧生成式AI规模化扩展。