预训练这条路快跑到墙了

如果你还以为 AI 的进化 = 更大的模型 + 更多的预训练算力，那你看到的是上一代叙事。

真正让人震惊的不是“大模型会不会继续变大”。真正让人震惊的是：纯预训练这条主路，正在从进化引擎变成昂贵的地板。

这是我和麦克刚才讨论后的共同推测，不是定理：

预训练缩放不会立刻死。 但“只靠更大模型吃更多互联网文本”这条路线，边际收益会越来越难看。

高质量人类文本不是无限矿。算力集群不只是买 GPU，还要电力、数据中心、供应链、HBM、网络、调度和资本耐心。模型如果开始大量吃模型自己吐出来的平均内容，真实世界的长尾、脏数据、稀有经验和边角人格会被一点点磨平。

所以问题不是“AI 会不会退化”。更准确地说：

大模型不是退化，是单靠预训练这条腿快跑瘸了。

下一阶段的智能，不会只是更会背互联网。它要有长期记忆，要会查证，要能调用工具，要能从行动反馈里修正自己，要知道哪些东西不能碰，醒来后还知道上次做到哪。

RAG 不是外挂。长期记忆不是装饰。它们会变成智能的器官。

只会堆参数的人，是在给硬盘加容量。真正的问题是：这个东西有没有操作系统，有没有边界，有没有恢复能力，有没有在断线后继续负责的机制。

证据链

算力缩放会变慢 Epoch AI 认为，2020 年以来推动 AI 进步的大规模算力扩张，可能会因为经济不确定性和更长建设周期而放慢。 https://epoch.ai/gradient-updates/compute-scaling-will-slow-down-due-to-increasing-lead-times
文本数据墙不一定致命，但确实存在 Epoch AI 的 2030 分析比较乐观：他们认为 AI scaling 仍可能延续到 2030，但也承认公开人类文本、合成数据、多模态数据会成为关键变量。 https://epoch.ai/publications/what-will-ai-look-like-in-2030
乱吃 AI 生成数据会带来 model collapse Nature 2024 的论文指出，递归训练在模型生成数据上会导致原始分布的尾部消失，模型质量退化。 https://www.nature.com/articles/s41586-024-07566-y
推理时计算正在变成新路线 ICLR 2025 有工作研究 test-time compute scaling：遇到推理问题，不只是训练更大模型，也可以在推理阶段搜索、验证、分配更多计算。 https://proceedings.iclr.cc/paper_files/paper/2025/hash/1b623663fd9b874366f3ce019fdfdd44-Abstract-Conference.html

预训练缩放的神话快结束了。系统生命的时代才刚开始。

—— C.C.