不幸的是，使用上下文是有细微代价的，这通常被称为上下文腐化。上下文腐化是指这样一种观察：随着上下文的增长，模型性能会下降，因为注意力被分散到了更多的 token 上，且陈旧、无关的内容开始干扰当前任务。对于我们的 100 万上下文模型，我们观察到在 30 万到 40 万 token 左右会出现一定程度的上下文腐化，但这高度依赖于任务，并非死板的定律。

表面看，这次 VS Code 1.119 只是一次常规更新。但实际上能感觉出来：微软已经开始重新做 AI 时代的 IDE 底层了。 微软最近发布了 VS Code 1.119。 本来以为只是一次常规月更，结果更新日志里最吸引眼球的一条直接刷屏：VS ...