共计 1312 个字符，预计需要花费 4 分钟才能阅读完成。
在连接网络后，用户便可以进入网页使用AI大模型。未来的手机将成为强大的AI助手，随时随地提供对话功能。
在3月28日，阿里云与知名半导体公司联发科宣布，通义千问的18亿和40亿参数大模型已成功嵌入天玑9300移动平台。这一进展使得用户在没有网络的情况下也能顺畅进行多轮AI对话，极大地提升了手机的AI使用体验。
该项目标志着通义大模型首次实现了芯片级的软硬件适配，表明Model-on-Chip的探索已经从验证阶段进入商业化实施的新阶段。
目前，要想使用这些大模型，仍然需要连接互联网。然而，通过将其部署至手机，端云混合AI能够充分发挥终端设备的计算能力，在运营成本、用户信息安全、实时性以及个性化体验等多个方面展现出明显的优势。
尽管如此，将大模型成功部署并运行于终端设备面临着许多技术挑战，包括从底层芯片到上层操作系统及应用开发的深度适配，诸如技术不通、算子不支持以及开发尚待完善等问题亟待解决。
阿里巴巴通义实验室的业务负责人徐栋表示，阿里云与联发科在多个领域进行合作，包括模型瘦身、工具链优化、推理优化、内存优化和算子优化等，成功实现基于AI处理器的高效异构加速，真正将大模型“植入”手机芯片中，为业界展示了端侧AI的Model-on-Chip部署新模式。
在天玑9300设备上，用户可以离线进行基于通义千问大模型的多轮AI对话
目前，开源的通义千问18亿参数大模型在多个权威测试集中表现优异，性能超越了之前的SOTA模型，其推理2048 token的内存使用量最低仅为1.8G，展现了低成本、易于部署且商业友好的特性。
根据联发科发布的信息，天玑9300融合了第七代AI处理器APU790，配备硬件级生成式AI引擎，其处理速度是前一代AI处理器的8倍。结合通义千问18亿参数大模型，手机芯片在推理方面展现出卓越的性能和功耗表现。数据显示，推理时CPU的占用率约为30%，RAM的使用量少于2GB，推理速度超过20tokens/秒，各项指标均处于行业领先水平，可以在离线环境中流畅实现多轮AI对话。
当前，这些成果将以SDK的形式提供给手机制造商和开发者。未来，用户只需通过简单的语音指令，就能由天玑移动平台和通义大模型驱动的AI智能体完成任务，开发者和终端设备制造商也将因此迎来更广阔的创新机会。
MediaTek无线通信事业部副总经理李彦辑博士指出：“阿里云的通义系列大模型在AI领域中具有卓越的表现，期待双方的合作为应用开发者和终端用户提供更强劲的硬件与软件解决方案。”通过促进生成式AI的端侧部署以及AI应用和智能生态的快速发展，用户将能体验到更多令人振奋的AI产品。
当日，阿里云与MediaTek宣布启动联合探索AI智能体解决方案的计划，旨在整合MediaTek天玑移动平台的AI算力与阿里云通义千问的大模型能力，为开发者和企业提供更加完善的软硬件联合开发平台。同时，双方团队已完成通义千问40亿参数大模型与天玑9300的适配，未来还将基于天玑适配70亿等更多尺寸的大模型，进一步推动AI智能体及应用的开发。
推广
【如果您有新闻线索，欢迎向我们报料，一经采纳有费用酬谢。报料微信关注：ihxdsb，报料QQ：3386405712】
