与 K2 相比，K3 的层数从 61 层增加到 93 层，总参数量从 1.04 万亿增加到 2.78 万亿，激活参数从 326 亿增加到 1042 亿。路由专家数量由 384 个增加到 896 个，每个 Token 激活的专家数量由 8 个增加到 16 个，共享专家由 1 个增加到 2 个，注意力头则从 64 个增加到 96 个。

K3 的隐藏层维度仍然保持在 7168，没有通过继续扩大模型宽度来完成扩展。它主要增加了网络深度、专家数量和每个 Token 实际调用的专家容量。这意味着“2.8 万亿参数”代表模型可容纳的总体参数规模，而不是每次推理都需要执行全部参数。每个 Token 实际运行的是约 1042 亿参数，但这一激活规模本身仍然相当于一个大型稠密模型。

Kimi K3 的注意力结构采用 Kimi Delta Attention 与 Gated MLA 混合设计。每个主要模块由三层 KDA 和一层 Gated MLA 组成，完整模型共包含 69 层 KDA 和 24 层 MLA。KDA 使用固定大小的递归状态保存历史信息，避免像标准注意力一样为所有历史 Token 持续保存完整的键值缓存，主要负责处理长序列；MLA 则周期性执行全局注意力，保留任意 Token 之间的直接交互能力。

这意味着 K3 并不是一款完全依赖线性注意力的模型。KDA 可以控制百万上下文下的缓存增长，但 24 层 MLA 的缓存仍然会随着序列长度增加。K3 的设计更接近一种折中方案：多数层使用适合超长序列的递归注意力，少数层保留完整全局交互，以减少纯线性注意力在复杂信息检索和全局关联上的能力损失。

K3 的 MLA 层没有使用 RoPE 等显式位置编码，而是依赖前置 KDA 层产生的位置和时序信息。这样做可以避免扩展上下文时重新调整 RoPE 基频或执行位置插值。不过，百万 Token 能力并不是仅依靠 NoPE 自动获得的。K3 在训练中仍采用了分阶段上下文课程，窗口先从 8000 Token 扩展到 6.4 万 Token，随后在冷却训练阶段继续扩展到 25.6 万和 100 万 Token。

由于自然存在的百万 Token 高质量文档和视频数量有限，团队还合成了一批长上下文数据，将多个文档、图像和子任务重新组合，使答案必须依赖分散在完整上下文中的信息。报告强调，仅增加输入长度并不能让模型真正形成长距离能力，训练数据必须迫使模型跨越完整上下文进行检索和推理。

在模型深度方向，K3 引入了 Attention Residuals。传统残差连接会把此前所有层的信息持续压缩到同一个隐藏状态中，随着模型加深，早期信息可能被逐渐覆盖。Attention Residuals 把不同层的输出视为可以被后续层选择读取的信息源，让模型能够从嵌入层和此前模块中动态选择所需表示。

考虑到完整保存 93 层输出会带来较高内存和通信开销，K3 使用了分块版本的 Block Attention Residuals。模型将不同层划分为多个模块，模块内部先汇总信息，模块之间再执行选择性读取。这种设计试图在深层信息流和实际训练成本之间取得平衡。

在混合专家部分，K3 使用 Stable LatentMoE。模型共有 896 个路由专家，每个 Token 选择其中 16 个专家，同时保留两个全宽度共享专家。路由分支会先把 7168 维隐藏状态投影到 3584 维潜在空间，再执行专家计算，之后重新映射回完整隐藏维度。

这一设计降低了同时激活大量专家所需的通信量和权重读取成本，但也会引入训练稳定性问题。为此，K3 在专家聚合后增加 RMSNorm，并提出 SiTU-GLU 激活函数，对门控分支和上投影分支进行平滑限幅。按照报告给出的参数设置，单个输出坐标的理论幅度上限为 100，用于减少超大激活值和低精度计算溢出的风险。

团队还提出 Quantile Balancing，用于解决近 900 个专家之间的负载不均衡问题。传统方法通常按照专家过载或闲置情况，以固定步长逐渐修正路由偏置。Quantile Balancing 则根据全局路由分数的分位数直接计算下一步偏置，使每个专家接收的 Token 数尽量接近目标负载。

对于大规模 MoE 模型，专家负载平衡不仅影响模型训练，还直接决定集群利用率。只要部分专家持续过载，其他 GPU 就可能等待最慢的设备完成计算。K3 使用全局直方图近似计算分位数，从而避免收集数百万 Token 的完整路由分数，同时保持较低的通信成本。

报告称，架构、训练数据、优化器和训练配方的联合改进，使 K3 相比 K2 获得约 2.5 倍的整体扩展效率。这里的“2.5 倍”指的是在验证损失与训练计算量的拟合曲线上，达到相近验证损失所需的计算量有所下降，并不代表 K3 的推理速度比 K2 快 2.5 倍，也不意味着所有下游任务的单位成本都提高了相同比例。

这项结果还是多种改动共同产生的，包括 KDA、Attention Residuals、Stable LatentMoE、训练数据调整、Per-Head Muon 优化器以及超参数重新搜索。报告没有提供足够完整的逐项消融实验，因此目前无法明确判断每项技术分别贡献了多少。

Kimi K3 同时是一款原生多模态模型。其视觉编码器 MoonViT-V2 共有 27 层，参数量约为 4.01 亿。与先训练语言模型、再连接一个已经完成对比学习的视觉编码器不同，MoonViT-V2 从头开始参与统一的下一 Token 预测训练，文本、图像和视频数据共同进入同一个模型骨干。

团队表示，使用 SigLIP 初始化的视觉编码器在联合训练中出现了更高且更频繁的梯度尖峰，而从头训练的 MoonViT-V2 更加稳定，并在视觉评测中取得相近结果。K3 的图像和视频使用同一套视觉参数，视频注意力被拆分为空间和时间两个方向。模型还通过像素重排，将视觉 Token 数量缩减到原来的四分之一，最高可处理 3584×3584 分辨率的输入。

K3 的后训练过程由监督微调、强化学习和多教师在线蒸馏组成。团队分别在通用任务、通用智能体和编码智能体三个领域训练策略，每个领域再训练 low、high 和 max 三种推理强度，总计形成九个教师模型，最后通过 Multi-Teacher On-Policy Distillation 合并到一个统一模型中。

不同推理强度并不是简单调整最大输出长度。训练系统会根据冷启动模型为每个问题估计基础预算，超过预算的轨迹会受到负奖励。团队先训练预算较高的 max 模型，再逐步压缩预算，得到 high 和 low 版本。因此，不同推理强度在一定程度上代表经过强化学习形成的不同行为策略，而不只是服务端设置的 Token 上限。

为了训练持续数百甚至数千次工具调用的智能体任务，K3 使用了部分轨迹生成机制。系统不再等待所有强化学习轨迹全部结束，而是在一定比例的任务完成后先开始更新模型，其余任务暂停并在后续训练迭代中继续执行。一条超长任务可以跨越多个训练周期，代价是部分数据会变得陈旧，因此训练算法会限制每次策略更新幅度。

K3 的强化学习环境没有绑定单一智能体框架。团队将工具接口、系统提示、上下文管理、记忆、技能和子智能体等能力拆分成可组合模块，可以模拟 Kimi Code、Claude Code、Codex、OpenClaw 和 Hermes 等不同运行方式。这样做的目的，是减少模型对特定工具名称、提示格式和上下文压缩方法的依赖。

训练任务覆盖复杂搜索、专业知识工作、软件工程、GPU 内核优化、网页开发、视觉推理、长期个人助理和自主执行任务。个人助理环境模拟了 Gmail、Notion、Slack 和 Canvas 等应用，一条轨迹可以跨越多个模拟日期，包含数千次工具调用和数百万累计上下文 Token。

K3 的基础设施部分是技术报告中信息最集中的内容之一。团队为 KDA 开发了 FlashKDA 内核和 KDA Context Parallelism，将长序列拆分到不同设备，同时只交换固定大小的递归状态，而不是随上下文长度增长的完整键值块。

MoE 训练则使用 MoonEP 动态复制少量专家，使每个专家并行设备接收完全相同数量的 Token。负载固定后，专家计算可以使用静态形状，减少主机同步和内存碎片，并实现更直接的零拷贝通信。团队还通过激活量化、重新计算、CPU 卸载、跨流水线设备远程卸载等方式，控制 2.8 万亿参数模型的训练内存。

面向百万 Token 智能体强化学习，团队开发了基于 Firecracker microVM 的 AgentENV。该系统支持暂停、恢复、分叉和快照，最低检查点延迟约为 133 毫秒，恢复延迟约为 49 毫秒。报告称，在 K3 的训练和评估过程中，共创建了超过 5100 万个沙箱，涉及约 150 万种环境镜像。

在线推理方面，K3 必须同时管理 KDA 固定状态和 MLA 键值缓存。团队将两类缓存放入统一的分页存储池，并把物理缓存块与前缀哈希粒度分离。即使物理块包含数千 Token，前缀仍可以按 512 Token 边界复用，从而减少长对话和编码任务中重复执行前缀计算的成本。

K3 从监督微调阶段开始对 MoE 专家权重执行 MXFP4 量化感知训练，专家输入激活使用 MXFP8，注意力、共享专家和路由器等模块则保持更高精度。强化学习生成和训练使用相同的量化方式，以减少训练和实际部署之间的精度差异。预训练中的多 Token 预测层还被改造成 EAGLE-3 风格的草稿模型，用于推测解码加速。

上海本土企业突破浸没式光刻机，ASML市场恐慌情绪或显过度

据路透社报道，上海爱晟纳电子科技集团已开始量产深紫外光刻机（DUV），预计今年产量为5台，2027年提升至20台左右。尽管中国市场占荷兰ASML公司2025年净销售额的29%，该消息引发投资者担忧并导致其市值单日缩水约600亿欧元，但市场分析普遍认为，外界对这一竞争威胁的反应过于悲观。

由于国产设备在性能、可靠性及芯片加工速度上仍与行业龙头存在显著差距，ASML在短期内依然保持着坚固的技术壁垒。此外，ASML正计划于2027年将先进DUV设备的产能提升30%，强劲的全球市场需求将继续为其业绩提供支撑，国产替代引发的实际财务风险在短期内依然可控。

GMF Re­s­e­a­r­ch：昨晚FO­MC最终9票支持、3票反对的维持利率政策不变。符合市场的预期，没有兑现7月加息的判断。从今天美债利率曲线的大幅扭曲变陡看2y和30y的单日扭曲程度创1987年以来历次议息会议最大——市场在一定程度上定价了“政策失误”——今天不加息，未来需要加息更多。
三张同方向反对票在FO­MC历史上比较罕见，上次三张“紧缩反对票”发生在2011年8月和9月两次FO­MC，反对的是维持超低利率的前瞻指引和反对扭曲操作——和今天一样，都发生在“货币政策框架”的变革期，也都来自轮值投票的地方联储主席（而非联储理事）。
沃什明确表示，在就业目标完成（充分就业），当看到底层通胀走高时，会更倾向于收紧政策；当看到底层通胀回落时，会更倾向于放松政策。如果对照FO­MC的声明看（就业达标、通胀仍高且63个月超标、油价反弹），未来紧缩的可能性更高。
沃什多次援引会议间歇期名义和实际收益率的大幅上行，将其视为央行减少前瞻指引、市场替代联储自行紧缩的结果。若这一风格常态化，未来的沃什式紧缩未必通过短端利率上行（加息）实现，而可能通过金融条件收紧（长端利率上行、风险资产下跌）实现。
但这样做的风险在于：若央行迟迟不行动，长端利率的上行未必来自实际利率，而可能来自通胀补偿的走阔——后者等同于市场对联储控通胀能力的不信任投票。

本视频从香农与妻子猜字母的经典实验切入，梳理信息论中语言可压缩性的底层原理
Reinventing Entropy | Compression is Intelligence Part 1
https://youtu.be/l6DKRf-fAAM
翻译&时间轴：贰鼠 校正：畏狐之狐
感谢观众的支持: https://3b1b.co/support 一键三联与分享，也是最大的支持！

发布视频