壁仞科技率先完成中国移动九天35B大模型预适配

来源:壁仞科技 #壁仞科技#
1500

据了解,中国移动即将发布自主研发的九天35B通用大模型。该模型将凭借强大的语言理解、复杂推理与行业场景适配能力,有望成为央企自研大模型的标杆之作。4月25日,作为中国移动“AI能力联合舰队”核心算力伙伴,壁仞科技基于旗舰通用GPU产品壁砺™166系列,已提前完成九天35B模型全流程适配与推理验证,实现高性能、低显存占用的稳定运行,为中移九天大模型规模化落地提供国产化高性能算力底座。

高效适配,释放模型推理性能

得益于壁砺™166系列产品的高通用性与全自研BIRENSUPA™软件栈的成熟度,壁仞科技高效完成九天35B模型推理全链路深度打通与快速适配。壁砺™166M系列搭载64GB大显存与1.6TB/s大显存带宽,配合超大TensorCore硬件加速,释放强大算力;在保障模型精度的同时,显著降低显存占用、提升推理吞吐,精准匹配九天35B长文本处理与高并发响应需求;依托vLLM开发框架、torch_br计算库全栈优化,实现对九天35B模型注意力机制的深度优化,实现模型在壁砺™166M上高效稳定执行。

九天模型基于壁砺™166系列产品完成推理任务

实测显示,在标准推理场景下,壁砺™166M可稳定支撑九天35B模型高并发请求,充分满足通信、政务、金融等行业对大模型低时延、高可靠的部署要求。凭借卓越的技术成熟度,壁砺™166系列能够有效降低开发者的模型部署与应用门槛,打造兼具性能与成本优势的极致推理方案。

“国产GPU+央企大模型”强强联合

九天大模型作为中国移动“九天”基座核心产品,具备高安全、高可控、全自主的央企特性,已通过生成式AI服务双备案与A级安全认证,广泛适配数智化转型场景。此次壁仞科技高效完成九天35B大模型预适配,充分验证BIRENSUPA™生态成熟度以及响应速度。“国产GPU+央企大模型”强强联合,打造的全栈国产化方案,将为中国移动算网融合、AI能力规模化输出提供关键支撑,助力千行百业智能化升级。

作为中国移动深度生态伙伴,壁仞科技已深度参与移动云智算中心、万卡级集群建设,在湖南、河南等地实现规模化智算集群落地。展望未来,壁仞科技将持续深化与中移九天的协同合作,共研大模型训练、推理与行业适配优化方案,并积极参与由中国移动牵头发起的AI计算存储架构、卡间互联协议等专项技术研究。壁仞科技作为国产AI算力的核心力量,将深度赋能央企大模型,通过构建自主可控、高效可靠的新一代AI基础设施,成为驱动智能经济新形态的关键引擎。

责编: 爱集微
来源:壁仞科技 #壁仞科技#
THE END
关闭
加载

PDF 加载中...