一、背景描述
大语言模型（Large Language Models）在绝大多数自然语言处理的下游任务上都取得了瞩目的表现，例如文本理解、文本生成、情感分析、机器翻译和互动问答等。然而，数十亿乃至上千亿的模型参数，使得LLM在端侧应用进行高效部署面临很大的挑战。并且模型参数量增长的速度远大于硬件性能提升的速度，学术界和工业界开始通过模型压缩、数据流优化和算子调用等软硬件协同的方法尝试在有限的硬件条件下部署和运行大模型。
随着大模型在端侧部署需求的快速增加，同时考虑到计算资源的通用性，在CPU架构的处理器上部署大模型成为重要的发展方向之一。近期业界也在不断发布能够部署在端侧设备的大模型，进一步推动此技术趋势，不断吸引更多学术界和工业界相关人员进行研究。当前如何系统优化大模型以应对硬件性能不足成为在端侧实现大模型高效推理的关键问题。由于端侧设备大部分运行在基于Arm架构的CPU上，本届IEEE AICAS会议组织面向Arm架构CPU的通用大模型性能优化竞赛，目标促进和推动相关的技术研究发展。
二、赛题说明
A. 挑战计划
选手基于通义千问-7B大语言模型，可从多角度提出相关方法（如模型压缩，参数稀疏，精度量化和结构剪枝等），并结合Arm架构硬件特性和开源软件资源（比如硬件BF16，矢量矩阵乘，Arm Compute Library等）来系统优化提升大模型在硬件上的推理性能。最终通过赛题组委会指定的测试方案获取选手的优化方法的评分。
通义千问是阿里云正式发布的大语言模型，参数规模从十亿级到千亿级，目前该大模型在主流Benchmark测评集上综合性能表现全面。其中通义千问70亿参数通用模型Qwen-7B和对话模型Qwen-7B-Chat为开源免费版本，阿里云提供模型的全球多通道获取途径，以及相关的训练部署推理的服务。
初赛阶段不指定特定硬件平台，参赛团队可自主选择硬件平台进行大模型优化方法验证，进行整体性能评估，对比部署硬件优化前后的“能力”（Ability）和“性能”（Efficiency）；在初赛结束后，我们将选取32支提交有效成绩和经过代码审核的队伍，进入复赛阶段。在复赛阶段中，参赛团队将基于组委会提供的统一Arm架构硬件平台进行大模型的软硬件协同优化，提出针对性的算法推理和部署策略优化方案，再进行整体性能评估和部署前后对比。
B. 赛程
l 初赛开始: 2024-01-04
l 初赛结束: 2024-02-24
l 竞赛研讨会*：2024-03-02
l 复赛开始: 2024-03-03
l 复赛结束: 2024-04-04
l 结果公布: 2024-04-10
l AICAS会议**：2024-04-22
竞赛研讨会*：初赛结束后，组委会将在国内举办竞赛研讨会，邀请初赛入围参赛团队参加，会议将邀请主办方专家进行专题演讲，并安排交流活动。组委会将报销参赛团队参加研讨会产生的差旅和住宿费用（满足费用标准要求）。
AICAS会议**：复赛结束后，组委会将邀请获奖团队到2024 IEEE AICAS的阿联酋主会场进行答辩，并参加会议活动。组委会将报销参赛团队参加研讨会产生的差旅和住宿费用（满足费用标准要求）。
C. 注册方式
l 登录天池平台：
https://tianchi.aliyun.com/competition/entrance/532170
l 通过填写个人信息完成注册。参赛选手和导师需要提供实名验证。
l 每支参赛团队最多包括五名参赛选手和两名导师，每名选手只能参加一支团队。
l 选手报名、组队变更等操作截止时间为2024年02月24日23：59：59（认证入口：天池官网-右上角个人中心-认证-支付宝实名认证）。
l 此次挑战赛不限定参赛选手的背景，我们欢迎来自学术界和非学术界（例如工业界，医院，政府研究机构等）的研究人员，参与这次挑战赛。
l 平头哥半导体、Arm、安谋科技和阿里巴巴通义实验室人员不能参加评奖。
l 扫描下方二维码并进入答疑群
D. 奖金
l 一个15000美元的现金奖池。
l 初赛前32名邀请参加中国竞赛研讨会，复赛前6名邀请至IEEE AICAS 2024会议现场，组委将提供差旅补助。获选的资格由他们的最终分数、提交的技术报告和论文质量来决定。
本次比赛的奖金（税前）分配情况如下:
l 第一名：USD 6000 or CNY 42000（1支）
l 第二名：USD 3000 or CNY 21000（2支）
l 第三名：USD 1000 or CNY 7000（3支）
三、评分标准
A. 初赛评价指标
B. 复赛评价指标
四、组织委员会
·南京大学 · 杜力、杜源
·西安电子科技大学· 毛伟、李博
·上海交通大学· 李永福
·阿里巴巴· 马晓晗、余国生
·安谋科技· 潘逢治、边道京
*文章来源：复旦大学
