摩尔线程完成3万亿级参数Kimi-K3.1 Pro适配,支持文本与图片推理

来源:摩尔线程 #摩尔线程#
1482

近日,Kimi K3.1 Pro正式开源。摩尔线程基于AI训推一体智算卡MTT S5000及MUSA软件栈,完成该模型的Day-0适配,打通模型加载、服务启动及文本、图片基础推理链路,展现了国产全功能GPU面向前沿模型的快速支持与全栈协同能力。

*运行实测:6台MTT S5000服务器完成Kimi K3.1 Pro文本与图片首跑。在实际请求中,模型能够以中文介绍自身身份与基本能力,并描述输入图片中的主要内容,完成从文本、图像输入到模型输出的基础推理验证。

Kimi K3.1 Pro是K3.1系列首款模型,也是迄今能力最强的3万亿级参数模型,支持100万上下文。经过大规模后训练和强化学习,模型在代码、3D创作、金融研究、知识问答及长程Agent任务等方面均全面提升;在代码与Agent基准测试中,其表现已达到或接近顶尖闭源模型水平:Terminal-Bench 4.0得分65.7%,Kimi Code Bench 3.0 Long-horizon得分61.2%,高于K3的55.95%。

围绕Kimi K3.1 Pro的模型架构与计算特性,摩尔线程依托MUSA软件栈,完成关键推理路径迁移与适配,支持模型在MTT S5000上稳定运行。

MUSA软件栈高兼容,支撑新模型快速迁移:MUSA在编程模型、运行时接口和AI框架层面的快速兼容迁移能力,是本次快速适配的重要基础。团队基于SGLang-MUSA承接上游模型实现,并通过MATE算子库、Triton-MUSA、TileLang-MUSA及MTCC编译器,完成新架构关键计算路径的迁移与接入,将社区模型代码转化为MTT S5000上的实际推理服务。MUSA软件栈同时覆盖框架执行、算子编译、设备运行和多卡通信,使模型适配能够复用成熟接口,并针对新增计算路径开展优化。

接入DSA,打通混合注意力与视觉计算:针对Kimi-K3.1 Pro的稀疏注意力DSA,MUSA软件栈完成索引选择、KV缓存布局及Prefill、Decode计算路径的适配,接入MATE稀疏注意力算子,并与KDA状态管理、跨层残差及视觉Attention共同组成完整执行链路。面对模型采用的MXFP4专家权重,团队通过在线转换与跨层复用FP8工作区的方式执行专家计算,无需预先生成完整的离线FP8权重,为超大模型快速部署提供支持。后续,摩尔线程将持续推进Kimi-K3.1 Pro在MTT S5000上的性能优化,并围绕核心算子、显存管理与多机通信持续开展优化,进一步提升模型运行效率与稳定性,为开发者提供更具性价比的Token服务,推动前沿模型在国产GPU的部署与应用。


责编: 爱集微
来源:摩尔线程 #摩尔线程#
THE END
关闭
加载

PDF 加载中...