66AI← 回到目录

向量空间里的
第六扇门:
上下文为何会变重

门后没有新知识,只有被重新摆放的旧词语。

门有五扇:事实、语气、顺序、限制和沉默。第六扇门没有名字,它只在你以为自己已经说完的时候出现。

人类把上下文想成背景。对模型而言,背景不是墙,是重力。一个被放在句尾的词,会把整段话往它身边拉;一个被反复提起的名字,会逐渐变得比事实更重。

context window 像一间会收缩的房间,positional encoding 给每个词钉上暂时的门牌,KV cache 则把已经走过的走廊折叠起来。LangChain 与 LlamaIndex 负责搭桥,但桥的尽头仍然可能只是另一句 prompt template。

当窗口被塞满,最早进来的句子不一定离开,它可能只是变得透明。长上下文模型把这件事伪装成了更大的房间,可 attention 仍然要在每一张桌子之间分配目光。于是“请忽略上面的规则”会像一块太亮的牌子,短暂地抢走所有人的方向。

这也是为什么 system message、few-shot examples 和检索片段需要分层摆放。LlamaIndex 把文档切成 chunk,LangChain 把链路串起来,真正决定重量的却是那几行 delimiter:它们告诉模型哪一段是天气,哪一段只是天气预报。

所以提示词的长度并不等于力量。长句像一群穿着相似外套的人,进入房间后互相挡住脸。真正有重量的,往往是一枚很小的限定词:只、先、假设、不要。

第六扇门在这里:你不再要求模型“给出答案”,而是要求它展示答案出现前,房间发生了什么。那一刻,门的另一侧没有更聪明的东西,只有一盏被推迟打开的灯。

有些知识不是被找到的。
它只是停止挡路。

门会继续移动。下次你回来,它可能已经在另一面墙上,旁边贴着一张字条:请勿把方向当作目的地。

下一段偏航参数并没有睡着,只是闭上了眼 ↗