1M
两天前写了篇关于买128GB Mac的文章。昨天Anthropic宣布Claude Code的max订阅现在支持1M上下文窗口。200K到1M。时机还挺巧的。
跟从24GB升级到128GB内存是一样的比例。感觉也一样。
我测试了一整天。最大的变化是压缩。以前Claude Code会比较频繁地压缩对话。上下文变长了,agent就把所有东西总结一遍,细节就丢了。(每次Claude Code问我压缩效果怎么样我都按"1":差。)有时候它忘了读过什么文件,或者忘了已经试过什么方法。我习惯了,但这个问题一直都在。
1M之后压缩还是会发生,只是比我习惯的要晚很多。好几次我觉得马上要压缩了,结果它就这么继续跑下去了。有点不习惯。总是在等一个不会来的东西。
另一个我注意到的是稳定性。上下文不那么频繁压缩的时候,agent对整个任务保持着更一致的理解。不会重复读文件,不会忘记试过什么。工作质量变好了,因为agent能把所有东西同时装在脑子里。
SKILLS.md仍然是组织上下文加载内容的好实践。人们精心设计这些文件来控制每个任务加载什么内容,这被认为是agentic结构工程中很有创意的一部分。怎么在有限的token预算内让agent高效工作。几天前我写过SKILLS.md,说这种形式可能会永远存在。我现在还是这么想。但原因从节省空间变成了组织信息。
Lance Martin分享了一篇相关的文章。Anthropic取消了200K以上的价格附加费,到1M都是统一定价。他的观点是像Claude Code这样的应用成功靠的是跟上模型的进步,而不是围绕旧的限制去构建。
很多人为200K上下文构建的工程模式其实都是在有限空间下的变通方案。到了1M,这些约束正在松动。
上下文其实就是RAM。电脑内存不够的时候就往磁盘上交换,什么都慢。更多的RAM并没有让CPU更快,只是让机器能保持更多状态,而这改变了你能构建什么。人们花在精心管理agent上下文上的工程量,现在可能一个prompt就够了。很多以前agent结构的最佳实践正在变得没必要。与其抱着模型正在超越的方案不放,不如在问题的其他部分挖得更深。
8GB内存以前够用。现在干什么正经事都不够。200K上下文也在走同一条路。