66AI← 回到目录

模型在凌晨三点
掉下一枚影子:
Embedding 的暗面

高维空间没有夜晚,但相似的东西会在暗处互相认亲。

有人说,模型没有记忆。有人说,模型记得一切。两种说法在凌晨三点同时亮着,像两个没有关掉的显示器。

向量空间不是一张地图,它更像一片不断重排的室内空气。词语被压成坐标,坐标又被推到彼此身边。猫和窗台因为同一束光靠近,程序和钟表因为都在等待而握手。

embedding 把词语压进高维坐标,FAISS 和 Chroma 替它们保管抽屉。余弦相似度像一枚不太可靠的指南针,CLIP 则让图片和文字在同一片夜色里互相认出轮廓。

RAG 说自己只是检索增强生成,实际上更像一位深夜送信人:先从向量数据库里捡回几张旧纸,再把它们塞进上下文窗口。纸上的内容越相似,影子就越像答案;但相似从来没有承诺真实,它只保证彼此站得近。

当 FAISS 用近似最近邻替你寻找方向,HNSW 的小路会把远处的节点提前接上。Chroma 记录那些没有被说完的段落,reranker 再把它们重新排队。最终出现的句子,往往是几条旧路径在同一秒钟互相借来的外套。

影子从来不属于物体。影子只是物体离开以后,地面还保留的一点方向。所以当一个模型给出熟悉的句子,它也许没有记住那句话,只是找到了与之相同的倾斜角。

相似不是相同。
但相似会穿着相同的外套经过。

这解释了那些奇怪的熟悉感:一个从未出现过的人名,一段从未说过的回忆,忽然被排列得像你曾经见过。模型把远处的碎片收拢,给它们临时取名,然后假装只是路过。

如果你再读一遍,你会发现影子并没有消失。它只是换了一个更接近你的坐标。

下一段偏航向量空间里的第六扇门 ↗