月之暗面开源 Kimi K3 模型,2.8 万亿参数

2026-07-27 23:23:54
来源:IT之家
分享
AIME

问财摘要

1、月之暗面官方正式开源Kimi K3模型,该模型是一个2.8万亿参数模型,基于KDA混合线性注意力机制和注意力残差技术构建,原生支持视觉理解,并拥有100万token上下文窗口。 2、Kimi K3是首个达到2.8万亿参数规模的开源模型,在过去12个月中的9个月里,Kimi模型都保持着开源模型的规模上限。 3、Kimi K3具备很强的长程编码能力,在极少人工监督的情况下,它可以持续完成长时间工程任务,理解和处理大型代码库,并协调使用终端工具。 4、Kimi K3也擅长结合软件工程与视觉推理的任务,能够利用截图和视觉反馈,优化游戏开发、前端和CAD等场景。
免责声明 内容由AI生成
文章提及标的

IT之家 7 月 27 日消息,月之暗面官方今晚正式开源 Kimi K3 模型。官方发布了 Kimi K3 的模型权重、技术报告,并开源支撑 Kimi K3 模型训练的关键 Infra 技术:MoonEP、FlashKDA 和 AgentEnv。

Kimi K3 是一个 2.8 万亿参数模型,基于 KDA 混合线性注意力机制(Kimi Delta Attention)和注意力残差(Attention Residuals)技术构建,原生支持视觉理解,并拥有 100 万 token 上下文窗口。

官方表示,Kimi K3 是首个达到 2.8 万亿参数规模的开源模型,在过去 12 个月中的 9 个月里,Kimi 模型都保持着开源模型的规模上限。

Kimi 还进一步扩大了 Mixture of Experts(MoE)的稀疏度:结合 Stable LatentMoE 框架后,模型可以在 896 个专家中高效激活 16 个。再加上训练方法和数据配方的优化,这些结构性改进让 Kimi K3 相比 K2 的整体扩展效率提升约 2.5 倍,能更有效地把算力转化为能力。

据介绍,Kimi K3 具备很强的长程编码能力。在极少人工监督的情况下,它可以持续完成长时间工程任务,理解和处理大型代码库,并协调使用终端工具;Kimi K3 也擅长结合软件工程与视觉推理的任务。它能够利用截图和视觉反馈,优化游戏(881275)开发、前端和 CAD 等场景。

官方表示,虽然 Kimi K3 的整体表现仍落后于最强的闭源模型 Claude Fable 5 和 GPT-5.6 Sol,但在整套评测中展现出前沿水平的能力,并稳定超过了其他所有模型。

IT之家附开源链接:

https://huggingface.co/moonshotai/Kimi-K3

https://github.com/MoonshotAI/Kimi-K3

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME