Kimi K3 是一个面向长时程智能体任务的原生多模态混合专家模型：总参数量 2.78T，每个词元激活 104.2B 参数，训练上下文最长 100 万词元。它把 Kimi Delta Attention（KDA）、Block Attention Residuals（AttnRes）和 Stable LatentMoE 放进同一套训练系统，并进一步连接原生多模态预训练、分档推理投入强化学习、量化感知后训练与大规模并行基础设施。

本文按照论文的段落和小段落顺序进行逐句翻译，保留全部 16 幅图、5 张表、编号公式、交叉引用和技术附录。为帮助第一次接触相关概念的读者，额外说明均放在明确标记的“小白提示”中，不与原论文观点混写。

Attention 的发展并不是从 Full Attention 排成一条单向淘汰链。更准确的结构是三条并行路线：共享或压缩 KV cache、把历史压入固定状态、对历史 token 做稀疏选择。MQA、GQA 与 MLA 仍然读取全部历史；GDN 与 KDA 改写了记忆算法；DSA 则在 MLA 前增加轻量索引器，只让主注意力读取 top-k。

本文以首个公开论文或官方发布日为时间点，并把每种结构落到版本固定的开源代码：Q/K/V 从哪里产生、什么对象进入 cache、score 如何形成、复杂度到底被搬到了哪里。

Kimi K3 的 NPU 适配不是给现有 MLA-MoE 模型换一组配置。它同时引入 Kimi Delta Attention（KDA）、Block Attention Residuals（AttnRes）和 Stable LatentMoE，分别改变层内状态、跨层残差和专家通信。

截至 2026 年 7 月 20 日，官方已确认 K3 是 2.8T 参数、原生多模态、1M 上下文、896 专家激活 16 个，并采用 3× KDA + 1× Gated MLA；但完整权重、精确 config 和技术报告仍待发布。因此本文严格区分 已确认事实、组件证据、工程推导和发布后必验项，目标是形成可执行的 NPU bring-up 与性能优化计划，而不是制造一份猜测配置。