Token

它是什么

Token 是 大语言模型 在内部表示与生成文本时的基本单元。一段话会被切成一串 token；模型按上下文预测下一个 token，再解码回可读文字。中文里一个字、一个词的一部分、一个标点，都可能对应一个或多个 token，切分规则因分词器而异。

对使用者，token 主要影响：上下文能塞多少内容、计费如何估算、以及超长材料为何需要摘要后再喂给模型。

名字从哪来

Token 在计算机与自然语言处理中意为「标记 / 记号」。中文常保留英文，或称「词元」「标记」。口语「这段提示大概多少 token」指的是长度计量，而非密码学令牌。

它怎么工作

分词器把字符串映射为整数编号；模型在编号序列上计算。上下文窗口以 token 计，不是以「页数」或「字符数」精确等价。同样一段中文与英文，token 数可能明显不同。输出长度限制同样以 token 为界，超长回答会被截断或需继续生成。

在教育与工作中

粘贴整本教材进对话框，常常既超窗又浪费。更稳妥的做法是：先自选章节、再要求模型处理；或分段摘要后汇总。理解 token 有助于解释「为什么模型忘了前面的要求」——往往是上下文被截断或被新内容挤掉，而不一定是「故意不听话」。

和相近概念的差别

• 字符 / 字：人类阅读单位；token 是模型单位，二者不一一对应。
• 上下文窗口：以 token 计量的容量上限。
• 嵌入向量：token 可进一步变成向量供模型计算；那是更内部的表示。

常见误会

误会 1：1 token = 1 个汉字。 经常不是；不要用字数硬换。

误会 2：token 用尽模型就变笨。 超限时是截断或拒绝，表现为「丢上下文」。

误会 3：只要付费就无长度问题。 产品档位提高上限，物理与产品限制仍在。