从13000个数字到Kimi K3：改变你看待AI的LLM数学

1986年，卡内基梅隆大学一位名叫杰弗里·辛顿的研究员发表了一篇论文，描述了一台机器如何通过调整数字来学会识别模式。不是靠人类编写的规则，不是靠查表记忆，而是靠不断调整数字，直到输出不再出错。

从像素到参数

当时没有人认真对待这件事，以至于没人用它构建出大规模的系统。

三十八年后的今天，一家名为月之暗面的公司训练了一个包含2.8万亿个这类数字的模型。方法相同，规模却天差地别。这个模型叫Kimi K3。要理解它是什么，你得从一个简单得令人尴尬的问题说起。

一个像素网格。

每本神经网络教科书开篇的经典问题，就是手写数字识别。取一张28乘28像素的手写数字图片，喂给机器，让机器告诉你这是哪个数字。这张图有784个像素，每个像素的亮度值在0到1之间。黑色是0，白色是1，中间的一切都是灰色。

这784个像素的图片就是输入，而读取它的机器是一个神经元网络。

一个神经元只是一个数字，仅此而已。网络的第一层有784个神经元——每个像素对应一个。每个神经元保存其对应像素的亮度值。当你输入一张数字3的图片时，784个神经元以特定数值被激活；当你输入一张7时，会出现不同的模式。

网络在输入层和输出层之间还有隐藏层。隐藏层中的每个神经元都与前一层的每个神经元相连。每条连接都有一个权重——一个表示该连接影响力的数字。每个神经元还有一个偏置——一个在激活之前必须跨越的阈值。

要计算第二层中单个神经元的激活值，你需要取第一层的每个神经元，将其分别乘以对应的权重，求和，再加上偏置，然后通过一个函数将结果压缩到0到1之间。这个压缩函数叫做sigmoid。后来的网络用ReLU取代了它——ReLU只是将所有小于零的值设为零——因为ReLU在深层网络上训练起来要容易得多。

输出层有10个神经元，每个对应一个数字。激活值最高的那个神经元就是网络的答案。

训练的本质

一个简单的网络来完成这个任务——两个隐藏层，每层16个神经元——总共有13,002个权重和偏置。这13,002个数字需要被正确设置，网络才能识别手写数字。Kimi K3有2.8万亿个这样的参数。但结构是一样的：输入层、隐藏层、输出层，加权和、偏置、激活函数。Hinton在1986年描述的架构，正是如今每个现代AI内部运行的架构，包括Kimi K3。区别纯粹在于规模。

没有人会手工设置这13,002个数字。网络通过训练自己找到它们。

训练过程是这样的：你给网络看一张图片，它给出一个错误答案。你衡量错误的程度——这个衡量值就是损失。然后你用反向传播将误差信号从网络向后传递，调整每个权重和偏置，使其略微朝减少损失的方向变化。你在成千上万张图片上重复这个过程成千上万次，直到网络不再经常出错。

网络在这个过程中学到的不是一套规则，而是一种几何结构。

第一层学习识别边缘。第二层学习将边缘组合成形状。最后一层学习哪种形状组合对应哪个数字。这些都不是任何人编程设定的。网络自己发现了这些规律，因为边缘能降低损失，形状能进一步降低损失，而正确的形状组合能将损失降至几乎为零。

这不是比喻。当研究人员检查训练后网络的权重时，他们在早期层中发现了边缘检测器——正是你期望从优化像素预测的系统中看到的模式。几何结构仅从数学中涌现。

现在想象同样的过程，但输入不是784个像素，而是一个句子。输出不是代表数字的10个神经元，而是对50,000个可能下一个词的概率分布。损失仍然是交叉熵。调整仍然是梯度下降。权重仍然只是被调优的数字。

这就是大型语言模型。这就是Kimi K3的核心——一个通过调整2.8万亿个权重，直到交叉熵损失降至尽可能低，从而学会预测序列中下一个标记的系统。

缩放定律的边界

现在将其放大。

2020年1月，OpenAI团队发表了一篇论文，展示了令人瞩目的发现。

三条独立的缩放定律，每条在对数-对数图上都是一条直线。无论架构如何。无论具体的训练设置如何。只要做出了合理的选择，这些直线就成立。

团队为每条趋势拟合了方程，并利用它们预测未来结果。当他们用3640 petaflop-days的计算量训练拥有1750亿参数的GPT-3时，性能几乎完全遵循了预测的趋势线。这条线没有趋于平缓，这意味着更大的模型仍将带来改进。

GPT-4的训练成本超过1亿美元。OpenAI团队在花费该预算一分钱之前，就通过运行更小的实验并外推幂律，预测了其性能。预测得到了验证。这就是这些缩放定律的可靠性所在。

但有一条界限，这些线永远无法跨越。

无论模型多大，都无法在自然语言上实现零交叉熵损失。原因不在于架构，而在于数学。自然语言具有歧义性。如果你以一个以“神经网络是一种”开头的句子为例，并查看互联网上所有包含该短语的文档，你会发现几十个不同的下一个词，且没有一个错误。语言模型能做到的最好程度，就是为一系列合理的下一个词分配高概率。它无法确定，因为数据本身就不确定。

这种不可约的不确定性被称为自然语言的熵。Google DeepMind团队在一个大规模文本数据集上估计其为1.69比特的交叉熵。一个在无限数据上训练的无限大模型无法低于这个数值。Kimi K3，尽管拥有全部2.8万亿参数，也无法低于它。任何模型都永远无法做到。

那条线——计算最优前沿——是每个AI模型都会撞上的墙。问题在于你能多接近它，以及多高效地接近。

推理的涌现

这就是推理介入之处。

在大型语言模型的早期阶段，研究者们注意到了一件奇怪的事情。如果你在提示词的末尾加上“让我们一步步思考”这句话，推理任务的性能会显著提升。这并不是因为模型变得更聪明了，而是因为它被迫在得出答案之前生成中间步骤，而每一步都约束着下一步。

这被称为思维链。它的运作方式与AlphaGo相同——在做出决定之前，先搜索可能的空间。

AlphaGo于2016年由DeepMind发布，通过结合两个神经网络击败了世界顶尖的围棋选手。一个网络评估当前局面的优劣，另一个则估计哪些走法值得探索。两者共同引导蒙特卡洛树搜索——一种通过模拟随机对局来估计从给定局面获胜概率的过程。最终形成了一个既有直觉又能前瞻的系统。

在与李世石的第二局比赛中，第37手棋因其不符合任何人类常规而闻名。按照任何传统标准，这步棋看起来都是错误的。AlphaGo之所以下出这步，是因为它的搜索发现了一条深达50步的走法线路，在那里这步棋得到了回报。

同样的逻辑也适用于语言模型中的推理。当模型生成思维链时，它实际上是在进行一种树搜索——探索可能的推理路径空间，并评估哪些路径通向正确的结果。OpenAI表明，对推理链的每一步提供逐步反馈，而不仅仅是奖励最终答案，能显著提升推理能力。模型不仅学会了该得出什么结论，还学会了哪些逻辑路径是有效的。

这是将强化学习应用于推理的实践。该模型被训练来遵循思维链，就像AlphaGo被训练来遵循棋路一样——不是通过模仿人类示例，而是通过反馈发现哪些推理策略真正有效。研究人员发现了一个清晰的模式：模型在内部推理过程中生成的令牌越多，其最终答案往往越准确。思考得更久比思考得更广更重要。

Kimi K3的架构

Kimi K3正是基于这一理念训练的。

Moonshot AI于2026年7月发布了Kimi K3。总参数量为2.8万亿。每个令牌激活的参数数量为1040亿。这一差距并非缺陷——而是架构设计。

Kimi K3采用了专家混合（Mixture of Experts）设计。它不是对每个令牌运行全部2.8万亿参数，而是将每个令牌路由到其896个可用专家网络中的16个。路由是动态的，不同输入激活不同的子集。该模型拥有2.8万亿参数网络的容量，但每次前向传播的计算成本仅为1040亿参数网络的水平。

上下文窗口为1,048,576个令牌。为了处理如此长的序列而不产生全注意力机制的内存开销，Kimi K3使用了Kimi Delta Attention——一种线性机制，维护紧凑的循环状态而非存储完整历史。其93层中有69层使用此机制，其余24层使用标准注意力处理全局上下文。这是一种混合设计，且这种混合是刻意为之。

训练采用了MXFP4和MXFP8精度格式——微缩放浮点数——在减少内存带宽需求的同时，避免了标准量化带来的精度损失。后训练阶段包括对长程智能体任务的强化学习，涵盖多步骤问题，Kimi K3需在跨越数十万令牌的序列中进行规划、执行、观察结果并调整。

这正是缩放定律所指的方向。不仅仅是更大的模型，而是能够思考更久、路由更智能、处理早期架构甚至无法存储于内存中的上下文的模型。

28×28像素的网格。13,000个权重。跨越13个数量级计算量的幂律。教会模型在回答前先搜索的思维链。让Kimi K3拥有2.8万亿参数而不必为每个令牌支付全部成本的专家混合架构。

每一步都承前启后。1986年识别手写数字3的数学原理，今天依然在Kimi K3内部运行。

只是数字变大了，那条线依然成立。