一文看懂 LLM Token:从拆分、编码到计费
LLM 中 token 的基础概念与工作机制:tokenizer 如何把文本拆成 token、再映射成数字;解码过程如何把数字还原为文本。文章用 'the cat sat on the mat' 的微型语料演示字符级到词组级的词汇表构建,并给出具体数字:词汇表从 1000 到 200000,'understanding' 的词元数从 5 降到 2;生僻词如 'Frabjous' 15 个字符被拆成 7 个 token。同时说明计费同时计入输入与输出 token,输入包含对话历史、system prompt 与工具定义,控制输出长度可直接省钱。适合想理解 token 计费与优化成本的 LLM 应用开发者。