LLM 如何在底层运作——从预测下一个词开始的新手拆解
本文用类比和概率分布图,把大语言模型拆解为“超大自动补全系统”。作者从 token 切分讲起,说明模型如何把文本切块并编号,进而解释预训练、有监督微调、人类反馈强化学习三阶段如何把原始统计机器打磨成助手。文章还剖析了“幻觉”的本质:不是 bug,而是模型只会生成符合概率分布、但未必符合事实的文本。最后给出实用 prompt 原则:提供丰富上下文、指定输出格式、迭代修改、重要信息必须验证。适合想理解 LLM 底层直觉、又想马上用好的非算法工程师。