高效赋能边缘计算和“天书”大模型，云天励飞Edge10系列SoC“破晓当先”

随着全球掀起前所未有的AI浪潮和智能化变革，各类人工智能企业正在积极探索如何让大模型和边缘计算深入千行百业，进而赋能国内数字经济发展和智能化变革。作为“深圳人工智能第一股”，云天励飞凭显然走在了这场热潮前列，近日正式推出了其自主设计开发的新一代边缘计算芯片Deep Edge10系列SoC芯片，并公布“天书”大模型的最新动态。

基于深厚的行业积累和持续迭代升级，Deep Edge10系列SoC芯片不仅实现多项指标国内领先且正在向国际先进水平进击，包括采用国内先进的制程工艺，国内首个实现D2D高速互联Chiplet技术量产商用，以及拥有国内针对边缘计算场景的最大算力和灵活的混合架构等，并且在“天书”大模型中发挥了重要作用。而随着芯片、算法和大数据等全栈式能力不断升维，云天励飞计划推出NLP、CV、多模态等多类大模型，而且全方位涵盖通用大模型、行业大模型和场景大模型。

在发展战略方面，凭借对场景的深刻理解以及对算法关键计算任务在应用场景中的量化分析，云天励飞打造了“算法芯片化”等核心能力，进而让算法和芯片两大技术相互配合，高效赋能各类边缘计算、大模型系统解决方案和应用场景。此外，云天励飞一直坚持核心芯片自研战略并采用纯国产工艺，这不仅从底层技术上保障了其对系统解决方案的话语权，规避了国内智能化应用场景的潜在安全隐患，同时对提升国内AI芯片水平也大有裨益。

“造芯”升级 一马当先

作为业内极少拥有“芯片+算法+大数据”全栈式能力的人工智能企业，云天励飞不仅以提供其融合全栈能力的系统解决方案见长，而且自研“造芯”能力更是业界领先。

从2015年至今，云天励飞在自研核心芯片方面实现跨越式发展，完成了3代指令集架构、4代神经网络处理器架构的研发，且已陆续商用。去年底，云天励飞自主设计开发的新一代边缘计算芯片DeepEdge10一次性流片成功，并在日前举行的2023年世界人工智能大会上进行了展示。其可广泛应用于AIoT边缘视频、移动机器人等场景，预计今年量产投入使用。

对于DeepEdge10的技术性能和应用优势，云天励飞副总裁、芯片产品线负责人李爱军对集微网表示，与公司上一代采用22nm工艺的协处理器不同，DeepEdge10是一颗采用国内领先工艺的SoC主控芯片，其中包括CPU、GPU和MM、双显等各类外设，支持边缘CV大模型的推理部署，因而可以独立完成各边缘计算场景的任务。此外，该芯片采用自主可控的纯国产工艺，内含国产RISCV核，而且接口丰富，灵活性、扩展性强。

在算力方面，DeepEdge10可提供8-50 TOPS（INT8）整型计算和2-8T FLOPS（FP16）浮点计算算力，满足市场对芯片算法多样性、准确性、算力密度及效能方面的要求。李爱军进一步称，“绝大部分同类芯片只有定点没有浮点算力，很难适应碎片化的边缘计算场景。但DeepEdge10同时支持强大的定点算力和一部分浮点算力，能够为算法部署带来更大的灵活性，从而保证模型的精度和执行效率。因此，采用这种混合架构是它的独特优势。”

目前，针对各类应用场景，云天励飞已开发出Edge10C、Edge10标准版和Edge10Max三款芯片。其中，Edge10C采用8核CPU、算力8 Tops，Edge10标准版采用10核CPU、算力12 Tops，两者均应用于智慧安防、智慧城市和智能制造等边缘计算推理领域。此外，Edge10Max拥有32核64位通用处理器内核，单芯片可提供50 Tops算力，32GB DDR容量和120BG/S的内存带宽，能高效支持Transformer模型中的矩阵乘法运算，主要应用于边缘CV大模型推理领域。

李爱军认为，Edge10系列的关键竞争力就体现在定位是边缘计算而非云端、数据中心领域，以及提供了8 Tops至50 Tops范围的大算力。“通常一颗芯片算力是固定的，但我们创新的采用了D2D高速互联Chiplet技术（国内首个量产商用），可以针对边缘计算场景提供不同算力等级的芯片，因而不需要重新流片就能快速满足各类客户多元化的需求。”

基于多年的砥砺研发和战略部署，云天励飞DeepEdge10系列芯片不仅实现国内领先，而且正进一步向国际水平看齐。目前，公司正在与一些早期战略客户和合作方对Edge10开展适配等，预计在第四季度小批商用。“另外，我们的下一代芯片也已在规划中，将针对各类边缘计算和大模型场景持续升级，从而打造更先进的自研芯片产品。”

全栈能力 自研为王

长期以来，“应用产生数据、数据训练算法、算法定义芯片、芯片赋能应用”是云天励飞一直坚持的人工智能发展之路。基于此，云天励飞构建了业界领先的算法、芯片、大数据全栈式AI能力，同时拥有大量创新应用和落地场景，横跨人工智能基础层、技术层和应用层。

李爱军表示，“云天励飞是一家技术驱动型的公司，底层技术主要是芯片和算法。在发展定位上，我们最先聚焦的是这两项基础设施，即不断提升芯片和算法模型的能力，然后根据行业应用的需求一步步演进迁移到机器视觉、CV大模型等。另一方面，由于人工智能算法模型和应用场景紧密结合，以及应用场景具有多样化、个性化特点，其落地就需要把整个解决方案系统做出来才有价值。因此，云天励飞的业务模式是提供高度耦合的系统解决方案。”

对于打造系统解决方案是否面临更复杂严峻的挑战，李爱军指出，这其中存在一个误区，系统方案主要看应用场景。目前，国内大部分AI公司做的都是细分领域的垂直应用场景，相对更需要系统化的能力，因而只有联合打磨，才能做出最具竞争力和最高性价比的产品。

不难看出，在整个系统方案架构中，云天励飞对芯片产品历来坚持自研战略。对此，李爱军强调，“我们一直认为人工智能最核心的是芯片和算法，因此在集中资源力争把它们做到最好。同时，做芯片在于解决AI落地的关键瓶颈问题，比如在边缘计算场景中算法的长尾问题。“

李爱军进一步称，“自研芯片其实是一件挺艰辛的事，需要穿越时空、前瞻布局。假设芯片研发需要两三年以及应用至少5年以上，那么就需要看准未来5-8年的行业趋势，但这目前非常具有挑战，因为大模型是千变万化的，而且算法模型的周期堪称以月数来更新。因此，研发芯片需要对于行业的趋势发展有深刻洞察力，以及对算法技术的演进有深刻理解。而云天励飞此前布局的Transformer和Chiplet技术目前正好匹配上了大模型的需求。”

无疑，随着复杂国际形势的演变，选择国产工艺也是一项巨大挑战。在2020年，由于服务的智慧城市、智慧工业等对安全需求较敏感，云天励飞将在国外加工的主流工艺切换成了国内工艺。李爱军坦言，”AI芯片性能提升至关重要，但国产工艺与国际工艺存在代差。不过，在当前环境下更重要的是，我们要作长远考虑以及耐得住寂寞，为未来10年甚至20年做准备。中国科技要真正崛起，核心还在于底层的芯片，而这需要沉下心来去做。”

前瞻布局 赋能“天书”

凭借对行业的战略前瞻和持续多年的深耕布局，云天励飞核心打造出了核心能力“算法芯片化”，让算法和芯片两大技术相互配合，为解决方案和应用场景更高效地赋能。所谓“算法芯片化”不是“算法+芯片”，而是基于对场景的深刻理解以及对算法关键计算任务在应用场景中的量化分析，将芯片设计者的理念、思想与算法相融合的AI芯片设计流程。

这一理念在Deep Edge10芯片和云天励飞在2023年世界人工智能大会上展出的云天“天书”大模型上均有所体现，比如DeepEdge10可以为大模型在边侧推理场景提供充足算力，以及解决大模型应用和部署过程中的各类挑战，包括新的神经网络计算范式、高带宽传输、分布式并行计算、低精度混合计算等。同时，其能够为大模型和实际应用场景架起桥梁，让大模型技术能够高效、低成本地部署到终端，帮助场景探索更多大模型的创新应用。

作为拥有芯片、算法和大数据全栈式能力的人工智能企业，云天励飞的自研芯片可支持多模态大模型在边缘侧推理。李爱军表示，“我们在2020年规划Edge10芯片时，大模型还没有兴盛起来。虽然当时ChatGPT 3的效果不太好，但我们对它的底层算法进行拆解后发现了未来的趋势，于是在卷积神经网络基础上，重点支持Transformer。如今，由于大模型的基础都是基于Transformer，公司现在的芯片设计就能高效支撑大模型中的推理运算。”

另一方面，通过采用Chiplet技术架构，Edge10Max封装了四颗小芯片，然后通过其高速互联和整套路由机制有效整合成一个大带宽，从而有力支持了大模型的高速运转。此外，云天励飞专业的数据规划和数据治理团队，丰富的数字政务、智慧交通、城市治理等行业know-how，以及高效的基础自研框架等，都有助于结合国产自研芯片拓展边缘侧应用。

在计划方面，云天励飞将推出NLP、CV、多模态等多类大模型。从分级上看，“天书”基础大模型架构包含三个层级：通用大模型、行业大模型、场景大模型。李爱军表示，“虽然我们的整个应用是针对垂类场景，但即便是垂类大模型也需要通用大模型作基础。因此，云天励飞基于算法开发和算法芯片化平台，并通过海量高质量数据预训练生产通用大模型；在通用大模型基础上，引入高质量行业数据，生产行业大模型；再在行业大模型基础上，通过细分场景数据微调研发场景大模型。通过这样的三级架构，让大模型为千行百业赋能。”

与此同时，云天励飞按照参数量级由小到大的研发路径进行规划，包含百亿、千亿等不同量级大模型，并将针对不同场景应用需求，综合考虑时效性、准确性、部署成本等多种因素匹配合适参数量级的大模型。据悉，基于“天书”大模型，云天励飞与深圳龙岗政数局共同探索了大模型在政务咨询服务系统的应用，并入选信通院《通用人工智能创新应用案例集》。未来，该系统还将逐步拓展到法务、金融、教育、医疗、交通等政府机构和公共服务领域。