08-11
LLM 扫盲：参数、采样与 200 万美元的训练成本
本文是一篇面向初学者的 LLM 概览，将大模型比作一份用 16-bit 浮点数编码的压缩文件，参数就是模型的“大脑”。文章依次介绍推理（inference）、采样策略（greedy、top-k、top-p、temperature）、tokenization，以及 pre-training 与 post-training 两阶段的训练流程，并给出粗略成本量级：约 10TB 文本、6,000 块 GPU 跑 12 天、花费约 200 万美元，产出 140GB 权重文件。结尾引用 Karpathy 的 LLM 入门视频与 Anthropic 的可解释性研究。内容刻意保持浅显，对熟悉 LLM 的一线工程师几乎没有新信息，适合刚入门的读者建立基本直觉。