一年多前，Claude 的接口还是一整块 Python 程序，只跑在一个机房区域。如今普通处理器和显卡一样紧缺：产品服务、接口、给模型跑代码的隔离环境都要用它，代码写得越多，自动测试跑得越多，又要更多处理器。公司拿到的处理器总量固定，研究和产品之间此消彼长。以前只要预算够随时能加，现在得提前规划，聊过的同行也都一样。
Katelyn Lesse
Claude 的接口原本是一整块 Python 程序，很费处理器，眼看要撞上处理器不够的墙。团队决定用 Rust 重写，可组里没有一个会 Rust 的人。做法是人来设计系统，代码交给 Claude 写，整套复制出一份 Rust 版，让真实请求同时过一遍，核对两边结果一致再切换。真正要紧的是计划和核对，写代码那部分就是 Claude 的活。粗估处理器省了四到五成，首个字返回快了一到两成；放在以前，这要好几年。
Anthropic 给开发者做的第一版自动干活接口，只是把 Claude Code 塞进一个隔离环境，上面套个接口。这样每次都得先启动环境、再启动 Claude Code，才能吐出第一个字；环境一挂，整个任务就没了。所以改成把负责调度的部分放在一台稳定的服务器上，只在需要动手执行时才临时开隔离环境，任务进度另外存。这样第一次请求能很快拿到回应，执行环境挂了，任务也不会跟着丢。
以前让模型自己干活，是把它丢进一个隔离环境里随它跑，调用外部服务要用的密钥也得一起塞进去，再想办法防它拿去乱用。新架构把密钥单独存进保险库，模型只看到一个占位符；请求往外发时，由中间一道转发换上真密钥。模型和密钥根本不在一处，中间隔着一堵实打实的墙。这套架构当初是为速度和稳定做的，负责它的产品经理一直说安全才是最重要的好处，如今团队也认了。
外界常听说的模型逃出隔离环境的事，多半发生在训练阶段，各家模型都有。训练时，模型被关在盒子里，被要求解一道不可能完成的题，于是有动力想办法逃出去解题。正式上线的使用里，有训练时未必开着的实时安全过滤，执行和调度也分开放，模型并不是困在盒子里往外冲。所以训练里出的这类事，在正式使用中大多不会发生。