AI 每日简报|你需要了解的有关 AI 令牌的一切|2026.08.02
本期聚焦 AI 令牌经济学:理解分词器、语言税和推理成本,比较每个被接受任务的真实成本,识别代理空转,并通过模型选择、上下文管理和预算分层提升 AI 投入回报。
明智地使用令牌,而不是一味节省令牌;衡量每个被接受任务的成本,而不是每个令牌的成本。
经历了不限量、令牌最大化以及如今对令牌焦虑的时代之后,我们的目标是进入令牌智慧时代。理解令牌究竟是什么,认识到不同实验室和不同层级的令牌并非生而平等,别再用令牌来读账单,因为令牌是无法统一计量且不断变化的目标;现在应该改用每个被接受任务的美元成本来读账单。消灭空转的令牌,调优能产出成果的令牌,并毫无畏惧地捍卫能带来学习的令牌。
数据速览
- 74万亿 —— 据报道,Meta 在排行榜时代单月消耗的令牌数
- 2800亿 —— Meta 个人最高用户使用的令牌数(约合 230 万本书的文字量)
- 5亿美元 —— 一家未具名公司在没有使用限制的情况下累积的 Claude 账单
- 400万 —— 一个是非题因意外触发深度研究后产生的令牌成本
- 1500美元 —— Nufar 的空转代理在两周内产生的账单:输入约 4 亿令牌,输出接近于零
- +30% —— Opus 4.7 的新分词器在标价不变的情况下额外产生的令牌
- 5 至 30 倍 —— 代理式工作相对于简单聊天的令牌倍数
- 60% —— 代理式任务成本中用于检查、优化和重新生成的比例(麦肯锡)
- 2 倍 —— 一项涵盖 2 万名开发者的研究中,AI 使用量最高者的生产力
主要内容
每个圈子都在讨论同一个令牌问题
使用昂贵模型的实践者觉得自己正在被监视,普通用户担心一个雄心勃勃的提示词就会吃掉自己一周的额度,而管理层看到的账单增速超出预期。Nufar 的目标,是把这种焦虑转化为认知:先理解账单意味着什么,再明智而非吝啬地花费。
OpenAI CFO 希望建立“每美元有效智能”记分卡
这一指标围绕一个问题展开:每个成功完成的任务究竟需要多少成本?这会把令牌从一个纯粹的财务数字,重新定义为衡量使用在哪里创造价值、又在哪里悄悄泄漏价值的指标。
令牌消耗的四个时代
在不限量时代,我们对令牌毫无感觉,固定订阅费掩盖了计量表。随后进入令牌最大化时代,把用量当作 AI 成熟度的徽章;接着是当下对令牌焦虑的反弹,而现在的目标是进入令牌智慧时代。
排行榜时代:“Claude 经济学”和 5 亿美元账单
Meta 曾在内部排行榜上追踪员工的 AI 使用情况,单月消耗 60 万亿至 74 万亿个令牌,最高用户达到 2800 亿个(约合 230 万本书)。Uber 在四个月内耗尽了整个 2026 年 AI 编程预算;还有一家未具名公司在没有设置任何限制的情况下,累积了 5 亿美元的 Claude 账单。
以一年为周期看,超支胜过少支
— Nathaniel Whittemore NLW 认为,对排行榜被刷的过度担忧没有必要:有真实利益的系统当然会被人钻空子。他愿意下注任意金额:一家通过令牌排行榜严重超支的公司,一年后会比另一家因为害怕证明 ROI 而不敢花钱的公司走得更远。
就连令牌最大化者也开始尽量减少令牌
Meta 从排行榜转向了一份限制 AI 使用的备忘录,媒体现在称之为令牌最小化;Uber 则将员工用量限制在 1500 个令牌。当员工开始自我审查时,每个提示词都会变成一场 ROI 对话,而这恰恰是最不应该停留的时代。
最昂贵的令牌,是你最优秀的人不敢使用的令牌。
— Nufar Gaspar Nufar 用这句话解释令牌焦虑为何危险:自我审查会把最有能力的人推回低风险工作,而不是投入真正能产生重大影响的高价值工作流。
令牌究竟是什么
令牌是一段文本:比字符更大,通常又比单词更小,是模型读取和生成文本的基本单位。英语中,一个令牌大约对应四分之三的单词,因此一页文字约有 1,000 个令牌。OpenAI 的公开分词器页面可以让你查看自己的文本会如何被切分。
非英语提示词的“语言税”
由于按令牌计费,印地语、泰语和希腊语等语言在表达相同内容时,可能生成多出 2 至 5 倍的令牌,因此同一个问题换成另一种语言后,成本会高得多。代码也有自己的特殊性:缩进、括号和空白字符都会成为令牌。
草莓测试是分词器的特征,而不是模型失败
模型数不清“strawberry”中有几个字母 R,是因为它们从未见过其中的单个字母,只见过作为令牌的“straw”和“berry”。许多“AI 怎么这么蠢”的梗,从字面上说只是分词造成的结果。
日常工作实际需要多少令牌
一封电子邮件约有 500 至 700 个令牌(约半美分,没人应该配给这些令牌),一页文字约有 1,000 个令牌,图片略高于 1,000 个令牌,而深度研究可能达到数万甚至数十万个令牌。一名学习者曾意外地把一个是非题发送给深度研究工具,结果触发了约 100 个子代理,成本超过 400 万个令牌。
每轮对话都会累积成本
模型不会记住之前的消息,因此每轮都会重新发送整个会话。到了第十轮,它可能已经重新处理了大量早期上下文,令牌总量的增长速度远超轮数所暗示的程度;不会结束的会话会悄悄推高账单。
更高价值的用例天然会消耗更多令牌
— Nathaniel Whittemore NLW 表示,发展方向非常明确:更先进、更有用的工作需要更多智能,也就需要更多令牌。如果不解决令牌焦虑,人们就会被激励着继续埋头处理日常邮件,而不是开展领导者真正想要的深度研究和代理式工作。
代理式工作消耗的令牌是简单聊天的 5 至 30 倍
代理会在循环中自主工作,而一个典型任务通常涉及 10 至 20 次模型调用,每次都携带指令、历史记录、工具定义和之前的结果。麦肯锡估计,代理式任务约 60% 的成本与检查、优化和重新生成答案有关;从得到答案到获得被接受的结果,这一过程才是昂贵的部分。
不同实验室的令牌并非生而平等
每个实验室都有自己的分词器:OpenAI 的词汇表约为 20 万个,Gemini 约为 25.6 万个,Llama 约为其一半,Claude 则未公开。由于每百万令牌的价格是以各实验室自己的令牌为单位计算的,同一份文档在不同供应商处的成本可能相差 10% 至 20%,因此表面价格没有比较意义。
Opus 4.7 的“缩水”:价格不变,令牌增加 30%
Opus 4.7 于 4 月发布时,每百万令牌的价格表完全相同,但新的分词器让同样的文本产生了约 30% 更多的令牌。一项对超过 100 万次请求的独立分析发现,原生令牌数量增加了 32% 至 45%;计入缓存后,实际账单仍上涨了 12% 至 27%。标价相同,实际得到的“糖果条”却变小了。
每次请求都有三层令牌,价格差异很大
输入令牌包括提示词、历史记录、文件和工具定义,价格最低但增长很快;推理令牌是模型不可见的内部思考,按较高的输出价格计费,并会增加 4 至 20 倍成本;输出令牌是你实际看到的内容,价格通常是输入令牌的 3 至 5 倍。推理层就像餐厅账单上的“厨房时间”,总会让人措手不及。
更高的推理强度并不总能带来更好的答案
较高的推理强度可能让令牌数量增加 10 至 12 倍,但对于简单问题,较低的推理强度通常能通过避免模型过度思考,带来更低的单任务成本和更好的质量。GPT-5 级别模型的差距也在扩大:每百万输入令牌 10 美元,而输出令牌为 50 美元。
更便宜的模型可能更贵
Databricks 在自己的代码库上测试了编程代理:Sonnet 5 的单令牌成本比 Opus 4.8 低 1.7 倍,但每项任务的成本约为 2.09 美元,而 Opus 为 1.94 美元,因为 Sonnet 5 需要更多轮迭代。经验是:选择合适的模型,而不是最便宜的模型。在质量相同的情况下,不同代理框架的单任务成本差异也超过 2 倍。
能够进行比较的唯一指标是每个被接受任务的成本
把重试、审核和每一次修正都算进去,然后除以被接受的结果,这就是每个被接受任务的成本。实际审计方法是:让模型和工具选项分别执行 5 至 10 个有代表性的任务,保持输入和质量不变,然后比较首次成功率、人工修正量、耗时和总成本。
三类令牌:学习、产出和空转
用于学习的令牌包括实验、失败的工作流、身份文件和记忆,它们是学费,应该毫无畏惧地投入。用于产出的令牌会交付真正的工作。空转令牌则包括机器自说自话、闲置代理、臃肿上下文和错误的模型选择,它们只有活动没有产出。令牌智慧的做法是:按顺序消灭空转、调优产出、保护学习。
Nufar 那台自说自话、产生 1500 美元账单的机器
她禁用的“Chloe”幕僚长代理运行在 Anthropic API 上,账单发送到一个备用收件箱。她外出旅行期间没有使用它,却仍然收到账单:两周内产生 1500 美元费用,输入约 4 亿个令牌,输出接近于零,输入输出比例约为 2600:1。原因是 cron 作业每 30 分钟压缩一次空会话。如果 AI 专家都可能遇到这种情况,那么任何由公司持有付款卡的人也都可能遇到。
空转不只是错误,也包括那些悄悄变得不值得的事情
— Nathaniel Whittemore NLW 运行过一个 OpenClaw 代理,让它持续研究新的 AI 采用数据源。它完全按照指令执行,却不值得为此付出相应成本。审计空转,意味着要发现那些意外变成空转的流程,而不只是查找明显错误,例如每小时挖掘 Slack 信息,或一份没人阅读的晨报。
悄悄消耗令牌的常见嫌疑对象
需要关注闲置或运行过于频繁的代理、未使用的自动化、始终开启的规则和工具定义带来的“预提示词税”、不会结束的对话、未经筛选的数据检索(需要 20 行却取回 500 行)、分散的上下文,以及反复返工的循环。诊断方法包括周末测试、极端的输入输出比例,以及支出不断上升但价值保持不变的情况。
任何人都能养成的六个令牌管理习惯
开启新任务就建立新会话;有意识地选择模型;调整上下文规模,达到恰到好处的程度,不要过多或过少;构建可复用的技能和自动化,而不是临时反复提问;尽可能过滤数据;当模型的推理显示方向不对时尽早终止任务,而不是任由它继续空转。
使用 /doctor 审计自己的设置
Anthropic 的 Claude Code /doctor 命令会审计令牌分布、过时技能、重复的工具配置,以及过长或相互重叠的指令,并给出具体的删除或精简建议。非 Claude 用户也可以让自己的 AI 重现同样的审计,这并不复杂。
模型路由仍处于早期阶段,而偏好依然重要
— Nathaniel Whittemore NLW 预计,路由规范会先在确定性较强的软件工程领域得到解决;而在知识工作中,情况会混乱得多,因为偏好取决于回答的性质,而不是基准测试分数。GPT-5 的自动路由器曾让超级用户感到沮丧,这证明人们希望保留控制权;因此,理解模型能力仍然是一项高杠杆技能。
捍卫学习预算,而不只是削减账单
目标不只是降低账单,还要提高回报,而这往往意味着要在能带来学习的令牌上花更多钱:用三种方式执行同一任务,试验工具和技能,并构建上下文,让模型给出个性化且了解组织背景的结果。一项涵盖 2 万名开发者的研究发现,AI 使用量最高的人生产力约为其他人的两倍。
对组织而言:让使用量可见,然后分层管理预算
让消耗情况可见,并教会员工聪明地使用,而不是一味节省。根据工作负载和个人分配预算:为整个团队构建可复用技能的人,应该比把 AI 当成加强版 Google 使用的人获得更多预算;同时定期审计过时的自动化和指令。