为什么要搞懂 token 计算方法？
用 AI 用了一段时间后，我发现一个问题：每次看账单，token 消耗的数量跟我预估的总有出入。明明只发了几个字的问题，为什么消耗了那么多 token？后来深入研究了 token 的计算方法，才发现里面有不少门道。
搞懂 token 计算，不是为了省那几块钱，而是为了更精准地控制使用成本、更好地规划任务。特别是需要大量使用 AI 的场景，了解计算细节能帮你避免很多意外。
Token 计算的基本原理
Token 的计算基于分词器（Tokenizer）的工作方式。分词器会把文本切分成一个个 token，每个 token 对应词表中的一个 ID。
不同语言的计算方式有差异：
英文： 常见单词通常是一个 token，比如 ”hello” 就是 1 个 token。但生僻词、专有名词可能被拆成多个 token。比如 ”unbelievable” 可能被拆成 ”un”+”believ”+”able” 三个 token。
中文： 一个汉字通常对应 1 - 2 个 token，取决于字的常见程度。常用字可能一个字就是 1 个 token，生僻字可能需要多个 token 来编码。标点符号和空格也会各占 1 个 token。
一个简单的估算方法：中文文本的 token 数量大约是字数的 1.3-1.5 倍。英文文本的 token 数量大约是单词数的 1.2-1.4 倍。这只是粗略估算，具体要看模型和分词器。
输入 token 的计算
输入 token 包含所有发送给 AI 的内容，具体有：
你的问题： 你输入的文字，这是最明显的部分。
系统提示词： 很多 AI 服务会在后台加上一段系统提示，告诉 AI 它的角色和行为规范。这部分用户通常看不到，但会消耗 token。
对话历史： 如果保留上下文，之前的对话记录会被再次发送给 AI。聊得越久，这部分 token 越多。
格式标记： 有些服务会给内容加上格式标记，比如 ”User:”、”Assistant:” 等前缀，这些也会算进 token。
举个例子：你发了一个 10 个字的问题 ” 帮我写一首诗 ”，但实际消耗的输入 token 可能包括：系统提示（约 100 token）+ 对话历史（如果之前聊过，可能 50-200 token）+ 你的问题（约 15 token）+ 格式标记（约 10 token）。实际消耗可能接近 200 token，远超你看到的 10 个字。
输出 token 的计算
输出 token 相对简单，就是 AI 回复内容的 token 数量。
但有一点要注意：AI 生成过程中会不断预测下一个 token，直到遇到结束标记或达到长度限制。有时候 AI 回复看起来不长，但如果它经过了多次 ” 思考 ” 或 ” 自我纠正 ”，实际生成的 token 可能比最终显示的多。
另外，如果你设置了 ” 停止词 ”，AI 在遇到特定词时会停止生成。这种情况下，输出 token 就是你看到的内容。
实际计算案例
来看几个具体例子：
案例一：简单问答
用户问：” 今天北京天气怎么样 ”（8 个字，约 12 个 token）
AI 回答：” 抱歉，我无法获取实时天气信息。建议您查看天气预报应用获取准确的天气数据。”（约 40 个字，约 60 个 token）
总消耗：输入 12 + 输出 60 = 72 个 token
案例二：带上下文的对话
用户已经和 AI 聊了 5 轮对话，现在问：” 那 Python 呢？”
输入包括：系统提示（100 token）+ 前 5 轮对话（300 token）+ 当前问题（5 token）= 405 token
AI 回答：约 200 个字，300 token
总消耗：405 + 300 = 705 个 token
案例三：长文本处理
用户发了一篇 2000 字的文章让 AI 总结：
输入：系统提示（100）+ 文章（约 3000 token）+ 总结要求（20）= 3120 token
输出：总结内容约 200 字，300 token
总消耗：3120 + 300 = 3420 个 token
不同模型的 token 差异
不同 AI 模型的 token 计算方式可能有差异：
分词器不同： 有的模型用 BPE 分词，有的用 WordPiece，有的用 Unigram。不同的分词方式会导致同样的文本产生不同数量的 token。
词表大小不同： 词表越大的模型，常见词被编码成单个 token 的可能性越高，token 效率可能更好。
多语言支持不同： 有些模型对中文优化较好，中文 token 效率更高。有些模型主要是英文训练的，处理中文时 token 消耗可能更多。
使用不同 AI 服务时，最好查看它们各自的 token 计算说明，或者做实际测试。
如何准确查看 token 消耗？
几种方式可以帮你了解真实的 token 消耗：
查看账户使用记录： 大多数 AI 服务会在账户页面显示详细的使用记录，包括每次请求消耗的 token 数量。
使用官方工具：OpenAI 等平台提供了 tiktoken 等工具，可以在本地计算文本的 token 数量，不用实际调用 API。
在请求中获取： 调用 API 时，返回结果通常会包含 usage 字段，显示本次请求消耗的输入和输出 token。
第三方计数器： 网上有一些 token 计数工具，输入文本就能估算 token 数量。不过准确性可能不如官方工具。
常见问题解答
Q：为什么我发的内容很短，但 token 消耗很多？
A：可能是系统提示词和对话历史占用了很多 token。开启新对话可以清除历史，减少不必要的消耗。
Q：如何估算一篇文章的 token 数量？
A：中文按字数的 1.3-1.5 倍估算，英文按单词数的 1.2-1.4 倍估算。精确计算需要用分词工具。
Q：不同 AI 服务的 token 可以互相换算吗？
A：不能直接换算。不同服务的分词器和计价方式可能不同，需要分别计算。
Q：输出 token 比输入 token 贵是正常的吗？
A：是的，很多服务输出 token 的价格是输入 token 的 2 - 3 倍。因为生成内容比理解内容需要更多计算资源。
