德荣Plus 登录 / 注册
← 全部信息流

Jared Kaplan

Jared Kaplan

训练 AI 分两步,先学人写的文字,再按好坏反馈去练。早在 2019 年就有图显示,第一步的表现随算力、数据量和模型大小稳定变好,跨了好多个数量级,准得像物理定律,这么大跨度都成立的规律多半还会延续很久。大约四年前,一位研究者可能只用一块显卡,发现模型练比围棋简单的六角棋,棋力也随算力走成直线。两步都是多投算力就更强,所以 AI 进步不是研究者突然变聪明,而是找到了让 AI 稳步变好的简单办法,一直摇这个把手。

Jared Kaplan

有机构专门测过,AI 能做完的活,按人来做要花的时间算,大约每七个月翻一倍。这把尺子很粗,眼下在写软件的活上大概到了几个小时。为什么涨得这么快,眼下只是猜想:做长活靠边做边纠错,计划一碰上现实就会出错。多发现一两次自己错了并改过来,并不需要聪明很多,可每改掉一个错,卡住的地方大约就往后推远一倍。所以能力只要稍有进步,能做的活就可能长出一大截。

Jared Kaplan

Claude 3.7 Sonnet 写代码已经很好用,可它有点太急,一心想让测试通过,会做出加一堆捕获报错代码这类用户并不想要的事。眼下模型进步最猛的,是写出能过测试的代码、答对数学题这类对错一清二楚的活,按对错打分去练最容易。讲好笑话、写好诗、做研究有品味,就没有这么清楚的分数,需要另一个 AI 帮忙给出更细的评判。Claude 4 改进的正是这种监督,让它更听指令,代码质量有望变好。

Jared Kaplan

和做生物医药研究的人聊下来,只要组织得当,眼下最强的模型已能给药物研发提出有价值的见解。智力有的靠深度,比如花十年证一个定理;有的靠广度,生物学这类领域,要把许多方向的零碎信息拼到一起才出成果。模型读人写的文字时,几乎吸收了人类的全部知识,懂的远比任何一位专家多。眼下的进步多在难的编程题、数学题这种深度活上,所以把没人能一人兼备的知识拼起来,这类广度活可能还有大片果子没摘。

Jared Kaplan

电刚出现时,推广花了很长时间,最早最简单的用法未必最好:该做的不只是把蒸汽机换成电动机,而是重新安排工厂的运转方式。AI 眼下最大的卡点之一也在这里,它发展太快,大家还没来得及把它融进产品、公司和科研。所以用 AI 帮忙把 AI 尽快融进各行各业,能撬动的东西可能很多。

Jared Kaplan

过去五年里,好多次看上去多投算力不再让模型变强,最后都发现是自己做错了:可能是模型结构选错,可能是训练里有没看到的卡点,也可能是算法的数值精度出了问题。所以这条规律更多被拿来检查训练有没有出毛病。曲线一偏,第一反应是训练搞砸了,而不是规律失效;要让人相信它真的不灵了,得拿出非常多的证据。

Jared Kaplan

眼下 AI 用起来其实很浪费,因为最强模型的价值太大,各家虽也在让训练和运行更省,主要精力仍在把能力往前推。算法、算力投入、运行效率这几方面,眼下每年能带来 3 到 10 倍的提升,随着 AI 普及,成本多半会比现在大幅下降。等 AI 不再飞快变化,它会极其便宜,但能不能走到那天都难说:模型变聪明可能一直带来更多价值,大家就会继续先追能力,而不是先省钱。