Anthropic 的收入大部分来自企业。企业天生怕风险,没人想要更爱胡编、一问就给出有害回答的模型,所以直到不久前,做得安全和做好生意完全一致。可现在模型的本事长得太快,风险有多大、有哪些,眼下还没完全弄懂。新一代 Mythos 级别的模型可能被用来发动网络攻击,还没把握,就先没放给所有客户,客户再想用也得等。两者的冲突不在要不要安全,而在时间。
Daniela Amodei
Anthropic 有一份经济指数,专门看人们眼下实际怎么用 AI。到目前为止,看到的多半是 AI 帮人干活,而不是顶替人,只有极少数例外,主要是客服。拿最常被问到的写代码来说,软件开发者的活远不止敲键盘,还要跟产品经理商量、跟客户打交道。容易交给 AI 的那部分会缩小,其余部分会变大,所以开发者大概还会在,只是写的代码没那么多了。
用 AI 的人数看着惊人,但用的人并不均匀:多是上过大学的人,男性多于女性,种族和贫富上也有差别,放到全世界更不平均。硅谷的软件工程师人人在用写代码的 AI 工具,可全世界大多数开发者还没用上。所以眼下看,这场比赛才刚鸣枪,这项技术以后怎么用、谁能用上、里面装进什么价值观,都还有很大空间去影响。
Anthropic 访谈了 8.1 万人,问他们怎么用 AI,就他们所知是做过的最大一次定性调查。有人说 AI 让自己做成了从没想过能做的事;也有人说,本来可以自己想,可交给 AI 太省事,就不动脑了,直接信它的答案。人天生想学、想多知道一些,AI 用对了能帮人学,用错了会把这份劲头废掉,这正是很多人对 AI 焦虑的来源。同样做作业,直接要答案和让它像耐心的家教一样带你想,是两回事。
Anthropic 率先做出了不少安全措施,按一套章程训练模型就是其中之一。企业客户很在意安全和可靠,常常直说选 Claude 就是因为这些措施,对手发现想抢生意也得跟着做。招人也一样:Anthropic 有个专门弄清模型内部到底发生了什么的团队,来应聘的人去别家面试时会说,你们要是也有这样的团队,我会更想来。后来对手公司也建起了这种团队。一件事既对又能赚钱,就会逼着同行一起往上走。
以前训练大模型基本是逐题打分:答对给奖励,答错就告诉它错了。Anthropic 觉得有更好的办法,改成给 Claude 一整套思考伦理的框架。最早那版章程里放进了联合国《世界人权宣言》,还有苹果的服务条款,让它去理解人该怎样被对待、怎样不歧视人、怎样认真想复杂的道德问题。时间一长,它的回答不只更讲道德,整体的聪明程度和能力也跟着提高了。
Anthropic 服务着全球 30 多万家企业客户。它重安全的名声并没有把客户限在少数谨慎的行业,因为 Claude 的能力也很强,过去几年多数时候可以说是最强的模型,写代码和自己动手写代码这块尤其突出。金融、医疗、科技公司、律所,只要有一批写代码的人,就需要写代码的工具,就会用 Claude Code,所以企业对它的需求不分行业。
