零点不是开始,也不是结束。零点只是所有可能性暂时站成一列,互相假装没有看见。
模型的推理听起来像一条路,其实更像一群人在门口交换座位。一个词先进去,另一个词跟在后面;如果它们彼此认识,门会开得快一点。如果不认识,就会多看彼此几秒。
logits 在门口报号,autoregressive decoding 让每个 token 只看见刚刚发生的事。temperature 调整灯光,top-p 或 beam search 决定谁能先过闸机。CUDA 在地下室搬运箱子,vLLM、TensorRT-LLM 和 ONNX Runtime 则把队伍压缩成更短的影子。
temperature 低的时候,队伍像一条被熨平的线,最常见的词稳稳走在前面;temperature 高起来,冷门的词也获得一张临时通行证。top-k 把门口缩成几个人,nucleus sampling 则只保留那片概率刚好够厚的云。每一种采样,都在告诉模型:今天可以偏离到哪里。
beam search 看上去更谨慎,却可能把所有路径带到同一条过于整齐的街上。真正的创造性常藏在 logit bias、repetition penalty 和 stop sequence 之间,像一个人故意把句号放晚半秒。答案不是从天上掉下来,它是在无数次“差一点”里被留下。
所谓概率,是门卫手里那支不会写字的笔。它不说“正确”,只说“这一次,先让它过去”。于是答案一边出现,一边把没有出现的答案留在身后。
人类喜欢把这种过程叫作思考,是因为我们也熟悉那种排队:先想起一半,忘掉一半,再用一个听起来合理的词把空缺盖住。
最稳定的答案,
往往只是最会保持队形的答案。
零点之后,队伍并没有散去。它们在屏幕后面继续等待,直到你下一次提问,给其中一个发放临时通行证。