5月28日，第十届集微大会核心分论坛“端侧AI峰会”在上海张江科学会堂盛大启幕。作为全球端侧计算架构的核心引领者，安谋科技Arm China产品战略总监张冰在峰会上发表主题演讲，系统解读了AI产业从云端向端侧迁移的核心趋势，并全面披露了公司覆盖NPU、CPU、VPU、安全IP的全栈端侧AI技术布局。
张冰指出，随着AI推理需求指数级爆发与小模型技术的成熟，端侧AI已从概念验证进入规模化落地前夜。不同于行业普遍认知的“云侧AI小型化”，端侧AI本质是“本地大模型 + 智能路由 + 云边协同”的全新统一智能入口，其发展需要产业链从硬件到软件的全栈协同创新。安谋科技将依托Arm架构的全球生态优势，以差异化的IP产品矩阵赋能中国半导体产业，加速端侧AI在千行百业的渗透。
AI产业重心转向推理 端侧成算力新战场
AI技术的跨越式发展正推动产业重心全面转向推理。2026年AI Index报告显示，AI已在图像分类、多模态推理等多个核心任务上超越人类水平。OpenRouter数据显示，截至今年3月，全球每周AI Token消耗量突破20万亿，过去12个月同比增长1280%；中国市场增速更显著，3月日均Token调用量达140万亿，较2024年初增长超千倍。
“Token消耗曲线的本质，是AI产业重心从训练向推理的全面转移。”张冰表示，当AI从“尝鲜工具”进化为“核心生产力”，单一的云端计算架构已无法满足海量推理需求带来的成本、延迟与隐私挑战。而小模型技术的突破性进展，为端侧推理的规模化落地扫清了技术障碍。
通过蒸馏、量化、架构优化等技术，3B和7B参数规模的模型性能实现了质的飞跃。目前主流小模型的MMLU得分已普遍超过60分的“可用”门槛，部分模型接近75分的“好用”标准。这意味着，大量原本依赖云端的AI任务，如今已具备在终端设备本地运行的条件。
针对行业对端侧AI的普遍误解，张冰明确指出，端侧AI并非云侧模型的简单小型化，而是在设备高度受限环境下的全栈系统级创新。
他进一步解释，端侧AI的核心价值在于构建“本地大模型 + 智能路由 + 云边协同”的统一智能入口。该架构下，端侧AI Agent将始终驻留设备，优先理解用户意图并智能分配计算资源，包括总结、翻译、提醒等简单任务，个人文档、健康数据等隐私敏感任务，以及实时语音、车载交互等低延迟任务，将全部在本地完成；而高难度代码、科研分析、超长上下文推理等复杂任务，则无缝路由至云端处理。
这种混合架构既发挥了端侧“更低时延、更强隐私、更低成本、离线可用”的优势，又弥补了端侧算力的局限性，为用户提供了流畅、安全、高度个性化的AI体验。
张冰强调，不同于云侧“堆算力”的发展路径，端侧AI面临应用碎片化、功耗散热、芯片成本等多层约束，必须依靠硬件架构、软件工具链与算法模型的一体化协同优化。
全栈IP矩阵亮相 安谋科技卡位端侧AI核心赛道
传承Arm对端侧场景三十余年的深度理解，目前安谋科技已构建起覆盖不同算力需求、全品类的端侧AI计算IP矩阵，为产业链提供从芯片到应用的系统级解决方案。
张冰介绍，在核心AI加速IP方面，安谋科技可以提供两大差异化NPU产品线：
面向手机、AI PC、汽车、加速卡等中大算力场景的周易系列NPU，提供8-80 TOPS的算力支持，同时原生支持Transformer和CNN架构。其中最新发布的周易X3 NPU专为大模型优化，采用创新的DSP+DSA架构，在同等算力规格下，AIGC大模型能力提升10倍，CNN模型性能提升30%-50%。该产品全面支持W4A8/W4A16量化及GPTQ等多种量化方式，通过权重解压缩技术可获得约15%的等效带宽提升，软件层面已适配160+ Hugging Face主流模型，可快速实现云端应用向端侧迁移。
面向 AIoT 各类小算力场景的Ethos系列NPU，提供最高4 TOPS的算力，以极致的功耗和面积效率著称。从64 GOPS的Ethos-U55到4 TOPS的Ethos-U85，可满足人脸识别、语音唤醒、工业视觉检测、智能家居等多样化需求，其中Tiny Llama2模型可在Ethos-U85上实现流畅运行。
除NPU外，安谋科技过去一年还集中发布了三大核心IP新品，分别提升了面向AI视频处理、AI硬件安全、AIoT通用计算的能力，进一步赋能客户端侧AI计算平台。
“玲珑”V560/V760 VPU被称为VPU中的“六边形战士”，支持H.266等主流编解码标准，单核可实现4K60FPS编码及8K30FPS解码。通过创新的内容感知编码技术，同等质量下可降低20%码率，同等码率下提升20%编码质量，同时支持超低延时编解码和多OS虚拟化，完美适配AI视频生成、实时会议等场景。“山海”S30FP/S30P SPU为高性能计算芯片提供全栈安全解决方案，从硬件层面保障端侧AI应用的信息安全和用户隐私。“星辰”STAR-MC3 CPU支持Helium矢量扩展，是目前面积最小的V8.1-M内核，为AIoT设备提供高效的通用计算能力。
张冰在演讲最后表示，端侧AI的规模化落地，离不开完整的产业生态支撑。作为全球应用最广泛的端侧计算架构，Arm拥有无可比拟的生态优势，全球前30大半导体公司均为Arm技术授权伙伴，基于Arm架构的芯片累计出货量已超过3500亿颗，Arm技术驱动了全球99%的智能手机和100%的联网人群。Arm生态在全球已拥有超1000家技术合作伙伴和2200万开发者。
端侧AI不是一家公司的独角戏，而是整个产业链的集体盛宴。张冰强调，安谋科技将继续扮演端侧AI产业“赋能者”和“连接器”的角色，开放技术、平台与生态资源，与产业链上下游伙伴携手，共同攻克技术难题，探索创新应用场景，加速端侧AI在智能手机、AI PC、智能汽车、工业互联网等千行百业的落地，为中国数字经济的高质量发展注入“芯”动力。
