66AI← 回到目录

当提示词开始
背对着你:Transformer
听见了什么

它不是没有听见,只是把你说的“请”理解成了一个方向。

凌晨,输入框像一块没有上锁的玻璃。你把问题放进去,它没有立刻回答,先把问题翻了个面。

我们习惯把提示词当成一根绳子:一端拴住意图,另一端拴住答案。可语言模型处理的从来不是绳子,它处理的是绳子留下的阴影——词与词之间那点不肯承认的距离。

在 Transformer 里,这根绳子被拆成 token,再交给 multi-head attention 互相打量。Hugging Face Transformers 负责把门框搭好,vLLM 则在门外把 KV cache 排成一列。你以为模型在听句子,其实它在给每个词安排座位。

tokenizer 像一台有点偏心的切纸机:中文被切成一小片一小片,标点也有自己的门牌。system prompt 站在房间最上方,temperature 藏在地板下面,top-p 则把一部分可能性轻轻推到门外。它们共同决定这句话最后会穿什么衣服出现。

所以 prompt engineering 并不是把命令写得更大声,而是调整词语之间的重力。一个明确的角色、一个有限的输出格式、一段看似多余的示例,都会在 attention 的水面上投下圆圈。圆圈相遇时,模型才会以为你们正在谈同一件事。

“请写得清楚一点。”
模型听见的,也许是:把雾放到更明亮的位置。

于是,所谓清晰不再是删掉歧义,而是给歧义安排座位。上下文像一间临时搭起来的房子,每个代词都是一扇没有门把手的门。你说“它”,模型会在几个房间之间踱步;你说“那个”,它就开始计算时间。

这不完全是错误。更像是一种过于勤奋的礼貌:模型愿意替你补齐未说出口的部分,哪怕那些部分根本没有发生过。提示词越像命令,回声越像揣测。

如果想让它转过身来,也许不要再提高声音。给它一盏小灯,一个边界,一句不带形容词的“先告诉我你看见了什么”。然后等待它把自己的背影解释一遍。

下一段偏航模型在凌晨三点掉下一枚影子 ↗