月之暗面正式开源了Kimi K3模型，并发布了其模型权重、技术报告以及支撑模型训练的三项关键Infra技术：MoonEP、FlashKDA和AgentEnv。据悉，Kimi K3是一个基于KDA混合线性注意力机制和注意力残差技术构建的模型，原生支持视觉理解。
官方表示，Kimi K3是首个达到2.8万亿参数规模的开源模型，在过去一年的大部分时间里都保持着开源模型的规模上限。该模型通过结合Stable LatentMoE框架，能在896个专家中高效激活16个，结合训练优化，其整体扩展效率相比前代提升约2.5倍。
Kimi K3具备很强的长程编码能力，能在极少人工监督下处理大型代码库和协调使用终端工具。它同样擅长结合软件工程与视觉推理的任务，例如利用截图优化游戏开发等场景。据悉，虽然其整体表现仍落后于最强的闭源模型，但在评测中展现出前沿水平。
本次随模型一同开源的Infra技术覆盖了从高性能通信、高性能算子到分布式RL环境的关键链路，其中FlashKDA此前已开源，MoonEP和AgentEnv为本次新开源。
