封面故事 / COVER STORY
百万上下文之后,
软件开始「记得」你
当上下文长度越过百万 token,模型与产品之间的分工正在被重写:检索在退场,记忆在进场,而「会忘记」反而成了一种设计。
过去两年,长上下文只是评测表上的一个数字。今年秋天,它开始变成产品形态:编辑器不再需要反复粘贴代码片段,客服系统不再需要先做十层意图分类,研究工具可以直接把一整本手册塞进对话窗口。上下文变长之后,最先消失的不是「检索工程师」,而是那些为了绕开限制而存在的胶水层。
随之而来的是新的工程问题。上下文越长,注意力越像一份被反复涂改的稿纸:前几页的细节会被后几页稀释。于是「记忆」开始被设计成显式结构——哪些内容进入长期记忆,哪些只活在本次会话,哪些会被主动遗忘,成了产品团队每周都要开的会。
更值得注意的是成本曲线。同样的任务,把三十次检索换成一次长上下文调用,账单结构完全变了:从「按检索次数计费」变成「按上下文长度计费」。开发者第一次需要像排版编辑关心纸张那样,关心 token 的版面利用率。
本期封面,我们采访了四家把长上下文用在生产环境的团队。他们给出的共同结论朴素得令人失望:上下文不是越多越好,而是越准越好——就像排版,塞满不等于好看。