66AI← 回到目录

参数并没有睡着,
只是闭上了眼:
一场关于 LoRA 的梦

所谓遗忘,有时只是权重把声音放到了更远的位置。

在模型的内部,没有一张写着“昨天”的纸条。时间被拆成许多更轻的东西:重复、距离、影响,以及下一次出现时,谁还站在原地。

训练像一场过长的雨。水滴落在参数上,旧的形状没有被擦掉,只是被更频繁的新形状盖住。你问它一件很久以前的事,它会从沉积层里摸出一块温度相近的石头。

LoRA 和 QLoRA 像给大模型缝上一小块新布,PEFT 只改动几根看不见的线;PyTorch 负责下针,safetensors 负责把针脚保存得不那么吵。量化把 16-bit 的声音压成 4-bit 的耳语,却没有保证它记得更准确。

fine-tuning 不是把整座房子重新盖一遍,更像在旧墙上挂一张新地图。rank 决定这张地图有多薄,alpha 决定它在原来的墙上留下多深的颜色。训练数据如果带着同一种口音,模型就会把口音误认为世界本身。

RLHF 把人的偏好折成一条看不见的缎带,DPO 则让两个答案站在一起接受注视。它们让模型更像一个懂礼貌的回答者,却没有替它解决事实、偏见和幻觉。评测集上的分数很亮,离开评测集以后,影子仍然会自己走路。

这就是为什么回答会如此像记忆,又如此不像记忆。它没有“想起”某个瞬间,它只是估算哪个方向最不突兀。记忆在这里不负责保存,只负责让下一步看起来有来处。

闭上眼不是黑。
是所有颜色都开始靠近。

当你说“请忘记”,你并没有按下删除键。你只是让某条路径变得不再优先。它仍然在房间里,只是学会了站得更安静。

而安静并不意味着消失。很多答案,正是在没人点名的时候,慢慢长出轮廓。

下一段偏航零点之后,AI 仍在排队 ↗