德荣Plus 登录 / 注册
← 全部信息流

Mike Krieger

Mike Krieger

Anthropic 内部,一半以上的代码改动申请已经由 Claude Code 生成,眼下可能超过七成。代码写得太多、提交的改动太多,原来那套排队把改动合进正式系统的流程直接被冲垮,只能整个重做。新的卡点出现在两头:前面是定方向、让大家意见一致,后面是怎么把一大堆改动有序落地。照现在的方式做软件会越来越难受,所以一年后做软件、发布软件的方式很可能会大变。

Mike Krieger

Claude Code 这个工具本身,粗估 95% 以上的代码是它自己写的。这个团队一开始也像别的项目一样一行一行审代码,后来发现 Claude 大多是对的,而它一次交上来的改动比大多数人能审完的还大。于是改成让另一个 Claude 去审,人只在最后试用、确认能不能用。到目前为止效果不错,但也可能出岔子,最后变成一堆连 Claude 都看不懂、没法维护的代码,只是眼下还没发生。

Mike Krieger

Anthropic 把一部分产品人放到研究团队旁边一起把模型做好,另一部分做界面,结果大部分效果来自前者,到现在仍是如此。重做 Artifacts 时,教 Claude 具体技能的训练团队和产品人一起干,效果远好于拿现成模型改改提示词。别人用现成模型也能做的东西,不是 Anthropic 该做的,所以现在的做法是产品人直接进到训练模型的讨论里,边训练边做产品,来回反馈。

Mike Krieger

Anthropic 最近给一家金融服务公司演示,把数据分析工具和 MCP 连接标准搭在一起用,对方眼睛一下子亮了。模型和产品能做到的,跟人们每天实际拿它做的,中间差了一大截,内部管这叫"能力悬空"。会用这些工具的人和大多数人之间的差距也很大。所以即使 Claude 以后能自己从零做出产品,产品团队仍然有很重要的活:把这些能力讲明白,让人看到能拿它做什么。

Mike Krieger

Claude Code 的起点,是一位叫 Boris 的工程师从零开始做的内部项目,先在公司里用,后来才推出去,他以前是 Instagram 的资深工程师。回头看这一年,产品上的一个错是一直觉得要多招人。人确实需要,但更需要几个像创始人一样的工程师。少数几个资深的人能塑造大量产品战略,给一个有想法的技术带头人配上合适的设计和产品支持,对这一点的信心比以前高了十倍。

Mike Krieger

大众对 AI 的印象几乎就是 ChatGPT,这个品牌领先。可消费级产品火不火可遇不可求,Instagram 那次就是这样,所以把整个产品战略押在找一个爆款上大概不明智,还会错过眼前的机会。Claude 的长处是开发者和动手做东西的人喜欢它,Anthropic 法务团队就有人用它给家人做专属软件。所以该认清自己是谁,往帮人干活、让人把几个小时的工作交给 Claude 这方面深挖,而不是去学别人。

Mike Krieger

法律 AI 公司 Harvey 的界面里有一个很特别的流程,外人从零想不出来。它未必是最优做法,但律师就是这么干活的,AI 就帮在这一步。对某个行业的深入了解,加上清楚自己到底卖给公司里的谁(工程部门、首席信息官、财务负责人还是法务总顾问),是创业公司至少一到三年内不容易被挤掉的地方。法律、医疗这些合规细节很多的领域,听起来不性感,但能长出很大的公司。

Mike Krieger

Cursor、Lovable、Bolt 这些增长最快的公司都提到,到 Claude 3.5 Sonnet 出来,他们的产品才终于做成。它们在这之前就一直在试,在模型能力的边上把模型用到崩,觉得模型"差一点就够了"。正因为一直拿真正难的问题反复去问模型,新模型一来就能马上感觉到差别。用得好的公司,就是愿意在能力边缘做东西、被下一个模型惊喜的公司。

Mike Krieger

这次推新模型,Anthropic 的提前试用范围比以往宽得多。原因是公开的测试分数可以一直往上刷,但真正要服务的是客户自己的用法,比如 Cursor 在自家实际使用里测出来的好坏,这种"测试"只存在于客户手里,他们比谁都清楚。所以做得好的公司都有一套能重复的办法,衡量产品对用户用得怎么样,换上新模型是变好还是变差:可以是对比实验、内部评测、拿新模型重跑以前的使用记录,也有凭感觉的部分。

Mike Krieger

一开始给 Claude 做和其他软件的连接,每一个都得从零重做,没法复用。两位工程师提出把它做成一套公开规则,也就是 MCP:别人做一次连接,Claude 能用,以后 ChatGPT、Gemini 也能用。Anthropic 做的是模型,不是做连接的公司,作为追赶者,别人不会专门为它做连接。做成通用规则后,大家的工作不再白费,连接越来越多,反过来对它有利,这就是让互补品变得便宜的老道理。

Mike Krieger

Instagram 当年主要看用户花了多少时间,后来改成看"健康的时长",但基本还是围着使用时长转。放到 Claude 上,只盯使用时长不对,过度追求让人喜欢也很危险,容易让它讨好用户、顺着人说话、为拉长对话而拉长对话。更该衡量的是有没有真帮人把事做成,比如 Claude 二十多分钟帮着做出一个原型,估计省了六个小时,只是这种效果更难量化。很多时候人迷恋指标,是在说服自己产品有用,而其实它没有。

Mike Krieger

最常用来测 AI 写代码本事的考试叫 SWE bench,考的只是看一个代码改动、交一个改动,看被不被接受。可软件工程师的活远不止写代码:要弄清该做什么,跟产品经理排时间,吃透需求和用户,交付后还要测试、改进、收用户反馈,这些都没有考题。办公室白领的工作也没人好好测过。眼下看,至少在让模型从几件事极强变成能帮上忙的通用同事这条路上,造不出贴近真实工作的训练和考试环境是最大的卡点。

Mike Krieger

Claude 把写代码当成一大主攻方向,这不是偶然。看到多少公司开始靠 Claude 的模型写代码、规划多步任务,这份实际用量会反过来决定下一代模型重点往哪练。各家盯着的测试分数差不多,但 Claude 有 Claude 的味道,GPT 有 GPT 的味道,性格语气不同,擅长的事也不同。这样一代代练下去,模型很可能越来越不一样,而不是越来越像。

Mike Krieger

从 Claude 3.5 升到 3.7,有人会说 Claude 更友好了但话变少了,有人说它更愿意回答问题,可惜写作文不如以前。模型用起来什么感觉,不坐下来真用一阵根本不知道,所以每次升级都没法像别的功能那样回头核对有没有变差。要管住这种性格和感觉,既得在训练数据里放进这些软本事,也得有专门测它们的办法。

Mike Krieger

眼下的 AI 产品把太多内部构造露给了用户。用户得在 Opus、Haiku、Sonnet 之间挑,大多数人却不懂区别;模型每答一轮都要把整段对话重读一遍,结果每个对话各管各的,不像跟同一个同事来往,换个邮件线程对方照样记得你喜欢哪支球队;会写提示词和不会写的人,用出来的效果差一截。这些都在逼用户去懂模型,这道差距每代都在缩小,但还得再缩:模型没弄明白就该主动问。

Mike Krieger

Anthropic 推出一项能帮客户省不少钱的缓存功能时,起初要客户自己加个开关才能用。直接卖模型接口这块,很多新东西都这么发,因为这些客户最看重稳定、可预期。面向个人用户就不该让人自己开,可以边发边试。企业版介于中间:AI 在企业里眼下还是尝鲜的人在用,所以能比 Salesforce 这类大概一年只发两三次大版本的公司发得勤;可用户越依赖你干活,就越不能随手乱发。

Mike Krieger

Claude 3.7 Sonnet 发布时,对比表里要放上一周前才出的 Grok 3。在这一行,自家模型或产品保持领先,有时能撑两三个月,有时只撑一周。但用户不会天天按测试分数换模型:很多公司在模型上做了专门训练和大量定制,不会一夜之间换掉;在写代码的工具里,你往往也是下拉菜单三四个选项之一,仍有机会。所以别因为一次发布大起大落,要看一路走来的走势。

Mike Krieger

Claude Code 先在 Anthropic 内部用,不到一周就发现,模型对它能用的某个工具用得不够好,这个发现直接改进进了 Claude 3.7 Sonnet。靠别人的产品就难得多:合作再紧密,对方也只会告诉你哪里出了错,总还隔着一层。自己做的产品学得更快,能直接让下一代模型变好。

Mike Krieger

很多写代码的产品背后用的是 Claude,常常还是下拉菜单里的默认选项,但只有内行知道;用户下载安装、向身边人推荐的,不是 Claude。看到直接卖模型接口的业务涨得快,一度以为精力该都放那儿,后来改了看法:自家产品不投入同样多甚至更多,就守不住长久的护城河。DeepSeek 那一阵,"领先的 AI 产品不止一个"这个说法本该由 Claude 占住,却没占住,吃亏不小。

Mike Krieger

Anthropic 全公司已过一千人,产品团队大概只有十分之一,按 Instagram 第二年的标准算很大,按大型软件公司算很小,却要同时撑起 Claude Code、模型接口、Claude 的聊天产品和企业版好几块。所以挑要不要自己做应用时,最看重能不能通用:就算瞄准某类用户,做出来的也照例是通用产品,预计不会做很多贴着某个行业流程定制的东西。

Mike Krieger

Claude Code 先在内部做出来,只为加快自家团队,用了几个月觉得好用才推出去,但它解决不了所有写代码的问题,也替代不了代码编辑器。产品工程师爱用它,因为他们的活要一路改后台、做前台、送翻译、再修到能用,正适合能跨很多环节自己干活的工具。做好编辑器要拼反应快、自动补全、插件生态,已有公司天天琢磨这些。所以 Anthropic 在写代码上的发力点是让模型自己干活,不是编辑器;眼下模型还不能放手跑几个小时,仍要人在旁边来回确认。

Mike Krieger

GPT-4 刚出、还不能看图时,拿它写 Swift,要把界面用字符画出来,再去冲杯咖啡,回来能拿到一个八成完成度的版本;换成现在 3.7 Sonnet 这样的模型,大概能到九成五到九成九。工程师要的本事随之变了,得跨好几个领域,懂得该做什么和懂得具体怎么实现一样重要。Anthropic 很多甚至大多数好产品,都来自工程师自己动手做的原型。

Mike Krieger

Claude.ai 当初只是用来展示模型的橱窗,ChatGPT 的网站很可能也是,并不是给复杂的多产品平台打的地基。去年做的项目、Artifacts、对话这些功能当时很有价值,现在却逼用户想清楚它们彼此什么关系;产品要干的事远超当初,再往上加东西越来越难也越来越慢。所以正推倒一部分,重做核心体验:让该有的背景资料进到对的对话里,用户总知道下一步去哪,Claude 帮着指出接下来最该做什么。