高通：混合AI是AI的未来 助力生成式AI普惠

集微网报道 近年来，生成式AI正在以前所未有的速度和广度展现出其巨大的发展潜力。在中国，据不完全统计，自2022年11月至今，国内已发布79个10亿参数规模以上的大模型，且新的大模型还在不断发布，数量持续增长。

生成式AI大模型的兴起也引发了一个关键问题：即如何进一步扩展人工智能的应用领域，让生成式AI实现普惠？这就需要将AI技术引入最贴近用户的智能终端中，并促进云端和智能手机、汽车、个人电脑和物联网终端的协同工作，以实现更强大、更高效且高度优化的AI。

在高通公司近日举办的《混合AI是AI的未来》线下发布会上，高通中国区研发负责人徐晧博士指出，在云端和边缘终端之间分配并协调AI工作负载的混合AI，支持生成式AI开发者和提供商利用边缘终端的计算能力降低成本，可实现高性能、个性化、隐私和安全等优势，将成为AI的未来。

混合AI架构助力生成式AI普及

经过数年的发展，AI在终端侧已得到了大规模应用，涉及智能手机、智能家居、智能驾驶等等。伴随着生成式AI的快速发展，对AI的走向也产生了深远的影响。

徐晧表示，生成式AI以及大模型让AI能力实现了革命性的突破，使得AI具备了一定的创造和生成能力。此外，在文本、图像、代码、音乐、语音等方面将呈现越来越多的多模态AI应用。

由此业界也更加关注：生成式AI模型何时能实现触手可及，让人人都能体验？

对此徐晧指出，目前云端侧重大语言模型和多模态模型的数据训练以及GPU的强算力，但未来的生成式AI要大规模普及，就需要在庞大的终端侧运行，因而需要通过某种方式，将目前在云端可以实现的事情扩展到终端中，而混合AI可将终端与云端的资源、能耗以及算力进行最优分配。

徐晧进一步解读说，混合AI是包括云端、边缘云和终端的统一架构，即将大规模训练留到云端，执行放在终端。随着终端的算力越来越强，可在终端执行相应的推理工作，而那些需要云端处理的数据可通过快速、可靠的连接将数据上传至云端进行运算，之后再将结果推回到终端。这样的统一架构既包括了云端的训练和计算、边缘云的支持以及终端的能力，并将终端的AI能力发挥到了极致。

对于选择云端或终端执行的方法，主要是看模型参数的大小。徐晧提到，可将10亿参数视为一个等级，比如文字生成图像所需的参数达到10亿到百亿的级别；对话和自然语言处理（NLP）的模型规模涉及的范围则更大，简单的对话或许模型规模只有1亿的参数，但复杂的对话就可能达到千亿级别的参数——如ChatGPT；编程相对来说是一项比较复杂的工作，所以其模型规模参数约为百亿。对于智能手机、XR眼镜、移动PC，到智能汽车等不同类型的智能终端，可以将百亿级参数以下的大部分运算都放到终端；如果是百亿级参数以上的运算，可将其推至云端，通过服务器进行处理。

硬件、软件和算法三管齐下

整体来看，混合AI架构将赋能AI深入百业千行，在汽车、物联网、XR等细分领域提供全新的增强用户体验。根据预测，到2025年，在智能手机、PC/平板电脑、XR、汽车和物联网等细分市场的AI应用率，将从2018年的不到10%，增长至100%。在这一趋势的推动下，终端侧AI将成为许多关键平台的标准特性。

面向混合AI架构兴起的趋势，高通也在全面布局，着力与合作伙伴共同应对在海量终端推动AI新技术、新应用持续落地的重要机遇。

徐晧表示，目前在全世界范围内，搭载了骁龙和高通平台的智能终端数量已达到数十亿台。高通从2007年就开始投入人工智能领域的研究，到今年已经推出了第八代AI引擎，伴随着技术的进步，不断地将最新的算法和最强的能力加入到每一代的高通AI引擎中，让高效的AI无处不在。

从研发层面来说，徐晧指出，高通注重三个方向，即高效硬件、算法改进和软件工具。基于高通的平台，开发者可以通过跨层的模型、硬件和软件创新等全栈AI优化，将同样的应用快速部署到不同类型的终端上。为此，高通也将在基础研究、平台研究和应用研究层面持续发力，助力生成式AI加快速落地。

据悉，高通AI引擎采取异构计算架构，包括CPU、GPU、Hexagon处理器和高通传感器中枢。在软件方面，高通的AI软件栈提供了一个集成所有AI框架（如TensorFlow、PyTorch、ONNX、Keras）、开发者库、系统软件和操作系统的整合平台，有不同层面的架构支持，能够助力开发人员一次开发，即可跨不同终端和操作系统进行扩展。而且，最新一代的高通AI引擎在全球率先支持移动端的INT4整数运算能力。

整体模型效率研究也是高通推动AI落地到终端的重要研究方向之一。徐晧进一步指出，主要包括四大领域：一是如何通过量化将模型从浮点运算转换为定点运算；二是条件计算，即仅基于输入信息执行大型推理模型部分组件，实现运算简化，降低终端能耗。三是神经网络架构搜索，实现用AI学习设计更小的神经网络；四是编译AI模型以实现高效的硬件执行。这一系列算法都可以简化模型在终端侧的运行。

凭借技术创新、全球化规模和生态系统赋能，高通正在让混合AI成为现实，也将继续积极与全球合作伙伴一起把更多的AI特性带给用户，将AI扩展到更广泛的领域，带来更便捷、智能的体验。