投资者手册 IV：AI 推理（1）

本文为行业与技术结构分析，非投资建议。作者可能持有文中提及证券的头寸。

得益于Hot Chips大会，这周颇为喧嚣。Vera Rubin、LPX、Jalapeño、zHBM……熟悉的名字与陌生的缩写词在X、Substack及行业媒体上喷涌而出。GPU时代正在落幕，推理时代已然来临，机架成为关键，内存正分层化。这变化之大令人应接不暇，但实质内容却依旧模糊，难以把握。似乎一次扎实的学习就能理清一切，只恨不知从何入手。

这正是本手册的用途。通读一遍，在脑中留存一幅图景，后续铺天盖地的新闻便容易归位。故事要从Groq说起。

Groq自创立起便主张“GPU不适合推理”（这是Groq，不是xAI的Grok）。持此观点的远不止它一家。多数研发推理ASIC（围绕单一任务固化的芯片）的公司都这么说。它们并不正面冲击GPU这一AI的通用大脑，而是瞄准推理：需求增长迅猛，进入门槛相对较低，且是小公司与团队真正能攻下的市场。架构标准尚未定型，这本身就是机遇的一部分——设计之争仍悬而未决。这是社区咖啡馆的时代，各凭特色经营，连锁巨头尚未进驻。而正是这种不确定性催生了异构系统：多种不同类型的芯片在同一系统内混合运行。

Groq的方法很简单。推理，与训练不同，在每少量计算中需要频繁得多的内存访问。原因同样简单。如果训练是一个并行地一次性涌入海量数据的过程（这个描述粗略了百倍，但足够接近），那么推理则是LLM回答我们的问题。它一次生成一个词，然后基于该词及其之前的所有内容生成下一个词，如此反复：一场无尽的内存查找序列。必须不断从内存中获取数据，这是与训练最根本的区别。当数据如此频繁地移动时，内存离计算越近越好。因此，Groq在芯片上尽可能多地集成了SRAM，这是最快也最昂贵的内存。这样诞生了一款芯片，它可能对训练来说是奢侈品，但对推理来说却恰到好处。

而GPU之王看到了其价值。2025年12月24日，英伟达（$NVDA）与Groq签署了其历史上最大的一笔交易（据媒体报道约200亿美元）。当时解读分歧。有些人甚至认为英伟达是在提前收购一个未来的威胁，以防止市场形成，或至少减缓其发展。毕竟，主流观点是GPU和Groq仅用于推理的LPU（语言处理单元）迟早会成为竞争对手。

八个月后，8月24日，Hot Chips开幕日。当天最重要的公告并非来自台上，而是一份新闻稿。NVIDIA宣布Groq 3 LPX机架已进入量产，将云服务提供商Nebius（$NBIS）列为首位客户，并指出Groq自身——即出售该技术的公司——的云业务也将成为早期买家之一。买回用自己出售的技术所构建的产品。关于LPU的专门台上演讲直到次日下午才进行。NVIDIA将LPX机架与Rubin GPU并置，直白地描绘了这幅图景：GPU负责读取问题，LPU负责撰写答案。生态系统正朝着部件互锁而非互斥竞争的方向演进，而GPU时代最大的受益者亲身示范了这一点。

但如果故事止步于异构未来即将到来，这便成了任何人都能说出的平淡论断。首先，一个常见的误读需要纠正。

切勿将推理时代解读为GPU地位缩水的时代。

关键在于，推理正在被分解。预填充（读取问题）、解码（撰写答案）、KV缓存（对话的记忆）、智能体编排（指挥工作）。这些部分各自的身份已变得过于鲜明，难以再笼统归入推理这一单一名称之下，而我们已经到了值得对每一部分分别优化的时刻。应将市场视为分阶段的基础设施，而非GPU与ASIC的对立。

推理并非正在成为ASIC市场，而是正在成为异构系统市场。

而在这一异构系统中，若追溯各部分之间真正的分野，最终会归结到内存。

内存不再是加速器的附属品。内存架构决定了加速器是什么。

工作负载分解 → 计算瓶颈 → 内存瓶颈 → 机架整合。 本文按此顺序逐一探讨这些分叉点。

一个令牌内的两个时钟

当你发送提示词的那一刻，模型会依次执行两项截然不同的任务。首先，它一次性读取整个输入。这是预填充阶段。数千个令牌被同时处理，因此数学运算变成了矩阵乘矩阵，数万个计算单元无间隙地运行。这是典型的计算密集型任务，也正是GPU诞生的根本原因。用户在此感受到的时钟是TTFT（首令牌时间），即从发送问题到出现第一个字所经过的时间。

接着，模型写出答案。这是解码阶段。本文开头提到的内存查找循环——生成一个词并将其与下一个词连接——在此发生。为了生成每个令牌，模型必须将权重完整地从内存中取出，而实际的计算仅仅是那个巨型矩阵乘以一个单列向量。大部分计算资源处于闲置状态。时钟也随之改变。此时关键的是TBT（令牌间时间），即一个令牌与下一个令牌之间的间隔。这决定了答案输出的流畅度。

想象一座图书馆。预填充就像是几十位读者同时阅读一本打开的书；速度由座位数量决定。解码则是读一行，将书放回书架，再为下一行取回。制约你的不是座位，而是往返书架的行程速度。

每个token的耗时大致等于“需读取的字节数 ÷ 内存带宽”。这是一个理想化的最佳情况，实际系统只能望其项背，但足以建立直观认识。以2023年的标准设备——拥有3.35TB/s带宽的H100——搭配一个700亿参数的FP16模型为例，每个token需完整读取约140GB的权重，这相当于约42毫秒的纯内存读取时间。在这段时间里，计算单元本可完成数万亿次运算，却只能空等数据，成为全球最昂贵的等待室。

用2026年的最新数据做同样的除法，42毫秒降至1.6毫秒。最新GPU的带宽几乎是那台机器的七倍，而将模型压缩至FP4（每参数4位格式）可将需读取的字节数削减至四分之一。三年间实现了26倍的提升（尽管其中4倍归功于数字格式而非硬件）。那么，推理延迟问题解决了吗？

没有。瓶颈转移了。

2026年的“图书馆”有了新的头疼事。在生成回答时，模型必须保存从上下文产生的每一个中间结果。这就是KV缓存，如同你阅读时桌上堆积的便签。在一个70B级别的模型上（采用Llama 3.1 70B的配置），单个128K token的上下文会产生约40GB的便签。一个用户的长时间对话就消耗了H100（80GB）一半的内存。而在智能体时代，输入从几千token增长到几十万token。在请求间共享相同内容的技术能回收一部分便签成本，但根本问题——便签存放在哪里、如何传输——并未消失。现在，拖慢速度的不只是去书库取书的行程，还有便签的堆放位置及其自身的往返。

还有一个问题。生产服务并非一次只处理一个请求；它会将数百个请求打包在一起。这样，模型权重只需读取一次，供整个批次共享，因此每个请求读取权重的成本大幅下降。问题在于KV缓存。每个请求的对话历史是独立的，所以KV必须为每个请求单独读取。随着批次增大和对话变长，KV读取而非权重，成为最大的成本。 请求还会等待批次填满，这延迟了每个单独回复的响应。降低成本会拖慢回答速度：解决这一根本矛盾是推理基础设施设计的首要任务。

因此，“解码受内存限制”并非芯片上刻死的固定属性。它是一种条件状态，随模型、批次、上下文和服务水平目标（SLO）的出现与消失而变化。SLO是服务承诺遵守的响应保证，例如“一秒内输出首个词，令牌间隔低于100毫秒”。同一硬件根据承诺的严格程度会遇到不同的瓶颈，这也是该术语在本文结尾反复出现的原因。

FP4将需要读取的字节数减至四分之一。MoE（混合专家架构）每个令牌只唤醒少数专家，进一步削减了读取量。作为交换，长上下文增加了KV，而一旦专家分散到多个芯片上，瓶颈就从内存转移到网络。解决一处，另一处又堵塞：这份清单就是推理架构的待办事项，新的架构提案不断涌现，正是针对这些项目。瓶颈从未消失；它们只是转移了。

好的架构并非消除所有堵塞。它只是将堵塞转移到它负担得起的最便宜、最可预测的位置。

最后，将所有这些问题同时放大的，是智能体。普通聊天是一次提问一次回答，而智能体则要规划、搜索、运行代码、读取结果，再重新推理。一个任务会变成数百次推理调用。每步200毫秒的延迟看似微不足道，但重复300次就成了一分钟。而token价格仍在向地板冲刺。一个能产出GPT-3.5质量答案的模型，其查询价格从2022年11月的每百万token 20美元降至2024年10月的0.07美元，这只是开始；截至2026年8月，OpenAI最新5.6代轻量模型（gpt-5.6-luna）的输入价格仅为每百万token 0.20美元。这比四年前的GPT-3.5好得多的模型，价格却只有其百分之一。在token如此廉价的世界里，竞争的标准不再止步于每token成本。用户购买的并非token，而是已解决的查询、完成的代码。智能体时代硬件最终将以每完成任务的成本，即完成一项工作的总成本来衡量。

这并非始于硅谷

这种分化实际上并非始于2026年的芯片发布。早在两年前，软件研究就已经用数字揭示了这一裂痕的经济学。

2024年，两项研究得出了相同的结论：华盛顿大学与微软（$MSFT）合作的Splitwise，以及北京大学领衔的DistServe。它们主张不再将两种不同的任务强压在同一条流水线上，而是将预填充和解码阶段彻底分离到不同的机器池中。Splitwise报告称，在相同的功耗和成本预算下，吞吐量提升了2.35倍；而DistServe在保持相同延迟条件的同时，每GPU吞吐量最高提升了7.4倍。Sarathi系列研究则表明，即便完全不拆分硬件，仅通过调度优化——将预填充精细分块并在解码步骤之间交错执行——也能大幅削减干扰。“两个阶段不同”和“必须有两种芯片”并非同一句话。如今，推理软件栈实际上同时采用了这两种方法。

此后的研究沿着五个步骤推进，而2026年的硬件发布则是这最后一步的实体化。

分离是有代价的。一旦拆分硬件，预填充机器产生的数十GB的KV缓存就必须转移到解码机器上，两个池子需要负载均衡，当一侧发生故障时还需进行恢复。这是专业化节省的成本与协调化增加的成本之间的一场拉锯战。推理的未来是否真的走向异构，取决于这场拉锯战的结果，而这场战争尚未结束。我们现在所目睹的，正是它的第一次大规模实验。

而数十亿美元已经押注在这场实验上。如果推理正开始在不同类型的芯片间分化，那么关键问题就不再是哪种芯片更快。而是瓶颈将转移到何处，谁掌控着它，以及由此带来的价值和利润将流向何方。

NVIDIA和Groq是理解这一转变的最佳起点。如果GPU的部分职责可以转移到其他地方，而NVIDIA仍处于核心地位，原因何在？答案将成为一个框架，用以判断价值接下来可能在GPU、内存、网络和软件领域如何积累。

阅读全文：

https://nuttycld.substack.com/p/an-investors-handbook-iv-ai-inference?r=1kajgm&utm_campaign=post-expanded-share&utm_medium=web