研究早就发现一条规律：投入的算力、数据和参数越多，模型猜下一个词就猜得越准，而且能准到什么程度，可以很稳地提前算出来。进步既然能预期，就有了一个自己加强自己的循环：训练出一个模型，拿它做出有用的东西卖钱，用赚来的钱买更多算力，再训练出更好的模型。过去五年左右，这个循环已经转了一圈又一圈。
Nick Joseph
当年外界估计，训练 GPT-3 花了约 500 万美元。这对个人是一大笔钱，对一家公司却不算多，所以刚起步的 Anthropic 完全买得起训练同等模型的算力。在把这件事看作史上最重要技术的人眼里，全世界做这件事的好像只有 30 来个人。虽然不清楚别人在做什么，但感觉自己就站在最前沿。钱比别人少得多，可多数人用算力并不讲效率，所以把算力用得特别省，就有机会换来很大的领先。
就算用的是云服务，也得弄清芯片实际是怎么摆的。有一回怀疑芯片分在不同房间、甚至不同楼里，一位同事就用聚类算法去反推芯片在哪个房间，能看出两组芯片之间的连接有问题。还有一回排查了半天，结果真是显卡坏了，只能换一块。显卡才出过没几代，从机房布局到芯片本身几乎都是新的：显卡会坏、会慢，机房电源也可能出毛病。要钻的深度远远超出一个写 Python 的程序员的预期。
各种芯片干的都是同一类计算，但规格差得很多：有的算得快、内存小，有的内存读写快、容量却小。模型回答用户时一次吐一个词，每吐一个都要把全部参数读一遍，所以特别吃内存读写速度。训练大模型时一次处理的数据量大，往往更吃计算能力。手上有好几种芯片，就能把活派给最合适的那种。代价是芯片之间差别太大，很难写一套通用的代码，每种活放到每种芯片上都得重写一遍，工作量随芯片种类成倍增加。
芯片是提前很久买下的，整个计划都押在这些机群能正常运转上；芯片厂商也想让芯片好用，好让以后多卖一些。双方都很有动力把问题修好，但不是所有信息都能互相分享。所以大规模训练中途崩了，不能只丢给厂商一句“你们的机器崩了”，得把问题从自家代码里剥出来，做成单块芯片、单个文件就能重现的小例子，再发过去。
很多网页一直往下翻，就会一直自动生成新文字，所以要问互联网有多大，答案是无限。真正有用的那部分有多大，没人知道：做一个网页，并不会去哪个总计数器上登记“今天新增了 50 个词”。眼下数据的增长可能比算力慢，但这一点也说不准。所以“互联网已经用完、规模扩大到头了”这类很笃定的说法，其实有很大的不确定性，连别人到底用了多少数据都不太清楚。
以前以为，能解出程序员面试题的 AI，大概就接近能干人类所有工作的 AI 了。结果这些题解出来了，它的能力却窄得惊人，大多数别的事都做不了。整个 AI 领域常是这样：定一个目标，达到了，才发现它没想象中那么重要。加上测试题很快就会被刷满，拿替代指标来衡量很恼人，所以一套好测试的头一条，是真的在量你关心的东西。
最初的 GPT-4 在 MMLU 这套考题上大约得了 86.4%，下一个超过它的 Gemini 得了 90%。在这套题上，这是很大的差距，完全能确定两者真不一样，这很有价值。要是一套测试只有 100 道题，结果会很不稳定，误差范围很宽，很多差别都算不上数，很难据此做决定。好的测试要让小差距也有意义，才能顺着有效的方向一步步改；此外还得跑得快、用起来方便。
在后期调整阶段改模型，很快就能试一轮，可以一遍遍重来。要往最初的大规模训练（预训练）里加东西，得先做一堆严谨的试验排除风险，再放进下一次训练，等上几个月才见分晓，错了代价很大。而且这类训练惯常先在小模型上试，可小模型连一句话都说不太通顺，想调出某种特定的性格，只能在够聪明的模型上做。所以能放到后期做的，大概都应该放到后期做。将来也许有些部分值得挪回最初的训练里，扎得更牢。
模型一练就是几个月，所以一个难找的程序错误，就可能让进度脱轨好几个月，白白丢掉一整代模型，而原因可能只是某段代码写错了却没被发现。比如在某个底层计算里用错了数值精度，模型到了大规模时才崩掉，大约一个月后才看到；面对几万行代码，几乎无从追查。训练突然慢下来，同样很难查。所以比起整个技术路线的转变，最让人紧张的是这种隐蔽的程序错误。
这一行几乎从头到尾都是这样：算力加上去，模型大体就会变好，难的是真把它做成。模型结构本身挺简单，数学写得出来，不懂数学也能实现，真正的难题是在大规模上把它正确实现、拆到大量芯片上并行、再确认没出错。所以最缺的是工程师，而且是什么问题都能一路查到底的那种，从模型该怎么学一直懂到数据在机器之间怎么传，这种人非常少。回到十年前，最该练的也是这种工程能力，而不是机器学习理论。
有一阵招了很多通才，因为早期加入的人大多是这一类，结果人人什么都干，却没人把哪一块真正吃透。反过来，专才太多，就得靠负责人把各块串起来，比如看出这里改一下模型结构，那边的效率难题就会容易得多。早期能直接问一句“这一步换个做法行不行”，换成一个容易做快的操作，就省掉了一整个艰难的提速工程。所以团队要在两种人之间找平衡，还得有足够多的人看得懂全局，免得少了哪一个人就转不动。
Anthropic 的使用限额一直很紧，常被人抱怨，原因是短时间内能拿到的算力就那么多，所以让模型跑得更省，才能服务更多用户。而模型跑起来难不难，很大程度在训练时就定了：把模型做得巨大却只用很少的数据训练，或者处处需要芯片之间来回通信，或者结构弄得很复杂，负责运行的团队就很难让它跑快，他们人手也有限。所以训练团队和运行团队合作最紧，一起把模型设计得又聪明又便宜。
大家在用的 Claude Sonnet 4 和 Claude Opus 4，是 Anthropic 第一次在这个规模上训练模型，而任何事做第二遍都能做得更好。如果算力多上十倍、甚至百倍，原来几个月才能跑一次的训练，也许每天就能跑一次，变化会非常大。眼下 AI 研究被芯片卡得有多死，很多人没意识到。就算算力无限，瓶颈也会变成人：芯片坏了怎么办，难的工程问题能多快解决。
最早那篇规模定律论文，覆盖了大约 11 个数量级（每级差十倍），当时却为这条规律能不能再延续一级争得很激烈。可规律已经连着成立了 11 级，下一级失效的机会大概也就十一分之一，所以反对的理由显得说不通。只不过，天天做这些、天天画这些曲线的人才觉得显然；从外面看，论文多如牛毛，每篇都把自己写得很扎实、很重要，不当回事也可以理解。