近日,上海人工智能(885728)实验室升级并开源DeepLink多元算力混合推理技术方案。沐曦股份(688802)作为参与共建的核心芯片合作伙伴之一,已首批上线公司标准推理镜像,积极融入这一面向国产异构算力生态的开源协同体系。
多芯协同,推理范式进入新阶段
大模型推理的技术演进,正在突破“单一芯片、单一架构”的同构边界。随着模型规模扩大、业务场景多样化,业界对“异构混推”的需求愈发迫切——不同厂商、不同架构的芯片,能否在同一推理链路中协同发挥价值,成为国产算力生态能否真正落地的关键命题。
沐曦股份(688802)一直积极参与行业基础设施的搭建,帮助更多开发者、更多场景能够便捷调用国产算力。此前,公司与上海人工智能(885728)实验室合作,旗下GPU产品已支持DeepLink多元算力混合推理加速方案。近期,沐曦股份(688802)还受邀加入上海人工智能(885728)实验室发起的“AI全环节软硬件验证平台工作组”,成为生态社区首批共建成员单位。
此次,上海AI实验室牵头携手主流国产芯片共同建设DeepLink多元算力混合推理技术方案,整合下述三类互补部署模式,全方位覆盖产业落地需求。
异构集群间混合调度:支持多异构芯片推理集群的统一调度,不同厂商的国产芯片,在各集群上部署独立的推理服务,通过DLRouter感知各集群硬件配置,在整体服务网关层面实现推理任务在多集群间负载均衡调度,提升整体资源利用率;
异构国产芯片混推:支持多款异构国产芯片的PD分离推理,针对不同国产厂商的芯片产品,结合芯片特定确定计算密集、访存密集等请求特征,完成算力节点最优匹配,实现Prefill阶段跑在一个集群上,Decode阶段跑在另一个集群上。突破单卡性能瓶颈,提升异构芯片集群整体吞吐;
国产+国外芯片混推:支持国产、国外芯片的PD分离推理,以满足产业实际需求。
此外,作为DeepLink混推方案四大技术底座之一,此次开源的DLRouter原生支持KV Cache 感知的精细化请求路由,可精准识别推理请求特征,智能分流至适配硬件集群。依托底层流量调度架构,DLRouter可无缝适配多元国产芯片,兼容主流大模型推理框架,既能满足高并发 AIGC、科学智能、具身仿真等业务场景,也可为后续策略调度、资源编排提供标准化路由能力,开发者可快速集成部署,低成本构建高吞吐、低时延的异构推理服务。
沐曦股份(688802)首批上线公司标准镜像,可完整覆盖上述DeepLink方案的所有推理场景,支持开发者按需选用与下载。这对沐曦股份(688802)而言,不仅是一次产品成熟度的公开验证,更是公司积极共建开源协同生态的坚定站位。
开源共建,国产算力走向生态协同
国产AI算力的竞争,已不只是芯片性能的比拼,更是生态构建能力的比拼。
沐曦股份(688802)长期坚持构建开源驱动的计算生态体系。去年2月,公司正式开源旗下自研软件栈MXMACA,至今已积累近50万开发者注册用户。目前,MXMACA软件栈可兼容支持40多种AI框架、500多款AI模型与4500多个开源项目,此前已完成针对25款主流国产模型的Day0适配。公司致力于围绕MXMACA构建开放、兼容、协同高效的计算生态,目标是打造人工智能(885728)时代的“Android”。
面向未来,沐曦股份(688802)将继续深耕开源路线,与产业伙伴共同推动国产算力从“可用”走向“好用”,从生态分散走向协同共赢。
关于沐曦股份
沐曦股份(688802)致力于自主研发全栈高性能GPU芯片及计算平台,为智算、通用计算、云渲染等前沿领域提供高能效、高通(QCOM)用性的算力支撑,助力数字经济(885976)发展。
