月之暗面企业业务负责人黄震昕近日回应了外界关于K3模型是“蒸馏小模型”的猜测，明确否认了这一说法。他强调，K3性能跃升的核心源于底层原创架构创新，而非对现有模型的蒸馏复刻。
据悉，月之暗面此前发布的Kimi K3模型以2.8万亿参数规模成为全球最大的开源模型，并因其在Arena前端代码榜单登顶而引发广泛关注。针对部分业内人士对其性能突增可能源于“师承”闭源大模型的质疑，黄震昕指出K3的竞争力来自三项原创技术。
这些技术包括Kimi Delta Attention混合线性注意力机制、Attention Residuals注意力残差技术，以及首次应用于大模型训练的Moon Clip二阶优化器。据悉，Moon Clip优化器能在训练数据受限的情况下显著提升训练效率，配合其稀疏MoE架构，使得K3相较前代K2的整体扩展效率提升约2.5倍。
