AI 每日简报禾维 AI13 分钟阅读

AI 每日简报|你需要了解的有关 AI 令牌的一切|2026.08.02

本期聚焦 AI 令牌经济学:理解分词器、语言税和推理成本,比较每个被接受任务的真实成本,识别代理空转,并通过模型选择、上下文管理和预算分层提升 AI 投入回报。

明智地使用令牌,而不是一味节省令牌;衡量每个被接受任务的成本,而不是每个令牌的成本。

经历了不限量、令牌最大化以及如今对令牌焦虑的时代之后,我们的目标是进入令牌智慧时代。理解令牌究竟是什么,认识到不同实验室和不同层级的令牌并非生而平等,别再用令牌来读账单,因为令牌是无法统一计量且不断变化的目标;现在应该改用每个被接受任务的美元成本来读账单。消灭空转的令牌,调优能产出成果的令牌,并毫无畏惧地捍卫能带来学习的令牌。


数据速览

  • 74万亿 —— 据报道,Meta 在排行榜时代单月消耗的令牌数
  • 2800亿 —— Meta 个人最高用户使用的令牌数(约合 230 万本书的文字量)
  • 5亿美元 —— 一家未具名公司在没有使用限制的情况下累积的 Claude 账单
  • 400万 —— 一个是非题因意外触发深度研究后产生的令牌成本
  • 1500美元 —— Nufar 的空转代理在两周内产生的账单:输入约 4 亿令牌,输出接近于零
  • +30% —— Opus 4.7 的新分词器在标价不变的情况下额外产生的令牌
  • 5 至 30 倍 —— 代理式工作相对于简单聊天的令牌倍数
  • 60% —— 代理式任务成本中用于检查、优化和重新生成的比例(麦肯锡)
  • 2 倍 —— 一项涵盖 2 万名开发者的研究中,AI 使用量最高者的生产力

主要内容

每个圈子都在讨论同一个令牌问题

使用昂贵模型的实践者觉得自己正在被监视,普通用户担心一个雄心勃勃的提示词就会吃掉自己一周的额度,而管理层看到的账单增速超出预期。Nufar 的目标,是把这种焦虑转化为认知:先理解账单意味着什么,再明智而非吝啬地花费。

OpenAI CFO 希望建立“每美元有效智能”记分卡

这一指标围绕一个问题展开:每个成功完成的任务究竟需要多少成本?这会把令牌从一个纯粹的财务数字,重新定义为衡量使用在哪里创造价值、又在哪里悄悄泄漏价值的指标。

令牌消耗的四个时代

在不限量时代,我们对令牌毫无感觉,固定订阅费掩盖了计量表。随后进入令牌最大化时代,把用量当作 AI 成熟度的徽章;接着是当下对令牌焦虑的反弹,而现在的目标是进入令牌智慧时代。

排行榜时代:“Claude 经济学”和 5 亿美元账单

Meta 曾在内部排行榜上追踪员工的 AI 使用情况,单月消耗 60 万亿至 74 万亿个令牌,最高用户达到 2800 亿个(约合 230 万本书)。Uber 在四个月内耗尽了整个 2026 年 AI 编程预算;还有一家未具名公司在没有设置任何限制的情况下,累积了 5 亿美元的 Claude 账单。

以一年为周期看,超支胜过少支

— Nathaniel Whittemore NLW 认为,对排行榜被刷的过度担忧没有必要:有真实利益的系统当然会被人钻空子。他愿意下注任意金额:一家通过令牌排行榜严重超支的公司,一年后会比另一家因为害怕证明 ROI 而不敢花钱的公司走得更远。

就连令牌最大化者也开始尽量减少令牌

Meta 从排行榜转向了一份限制 AI 使用的备忘录,媒体现在称之为令牌最小化;Uber 则将员工用量限制在 1500 个令牌。当员工开始自我审查时,每个提示词都会变成一场 ROI 对话,而这恰恰是最不应该停留的时代。

最昂贵的令牌,是你最优秀的人不敢使用的令牌。

— Nufar Gaspar Nufar 用这句话解释令牌焦虑为何危险:自我审查会把最有能力的人推回低风险工作,而不是投入真正能产生重大影响的高价值工作流。

令牌究竟是什么

令牌是一段文本:比字符更大,通常又比单词更小,是模型读取和生成文本的基本单位。英语中,一个令牌大约对应四分之三的单词,因此一页文字约有 1,000 个令牌。OpenAI 的公开分词器页面可以让你查看自己的文本会如何被切分。

非英语提示词的“语言税”

由于按令牌计费,印地语、泰语和希腊语等语言在表达相同内容时,可能生成多出 2 至 5 倍的令牌,因此同一个问题换成另一种语言后,成本会高得多。代码也有自己的特殊性:缩进、括号和空白字符都会成为令牌。

草莓测试是分词器的特征,而不是模型失败

模型数不清“strawberry”中有几个字母 R,是因为它们从未见过其中的单个字母,只见过作为令牌的“straw”和“berry”。许多“AI 怎么这么蠢”的梗,从字面上说只是分词造成的结果。

日常工作实际需要多少令牌

一封电子邮件约有 500 至 700 个令牌(约半美分,没人应该配给这些令牌),一页文字约有 1,000 个令牌,图片略高于 1,000 个令牌,而深度研究可能达到数万甚至数十万个令牌。一名学习者曾意外地把一个是非题发送给深度研究工具,结果触发了约 100 个子代理,成本超过 400 万个令牌。

每轮对话都会累积成本

模型不会记住之前的消息,因此每轮都会重新发送整个会话。到了第十轮,它可能已经重新处理了大量早期上下文,令牌总量的增长速度远超轮数所暗示的程度;不会结束的会话会悄悄推高账单。

更高价值的用例天然会消耗更多令牌

— Nathaniel Whittemore NLW 表示,发展方向非常明确:更先进、更有用的工作需要更多智能,也就需要更多令牌。如果不解决令牌焦虑,人们就会被激励着继续埋头处理日常邮件,而不是开展领导者真正想要的深度研究和代理式工作。

代理式工作消耗的令牌是简单聊天的 5 至 30 倍

代理会在循环中自主工作,而一个典型任务通常涉及 10 至 20 次模型调用,每次都携带指令、历史记录、工具定义和之前的结果。麦肯锡估计,代理式任务约 60% 的成本与检查、优化和重新生成答案有关;从得到答案到获得被接受的结果,这一过程才是昂贵的部分。

不同实验室的令牌并非生而平等

每个实验室都有自己的分词器:OpenAI 的词汇表约为 20 万个,Gemini 约为 25.6 万个,Llama 约为其一半,Claude 则未公开。由于每百万令牌的价格是以各实验室自己的令牌为单位计算的,同一份文档在不同供应商处的成本可能相差 10% 至 20%,因此表面价格没有比较意义。

Opus 4.7 的“缩水”:价格不变,令牌增加 30%

Opus 4.7 于 4 月发布时,每百万令牌的价格表完全相同,但新的分词器让同样的文本产生了约 30% 更多的令牌。一项对超过 100 万次请求的独立分析发现,原生令牌数量增加了 32% 至 45%;计入缓存后,实际账单仍上涨了 12% 至 27%。标价相同,实际得到的“糖果条”却变小了。

每次请求都有三层令牌,价格差异很大

输入令牌包括提示词、历史记录、文件和工具定义,价格最低但增长很快;推理令牌是模型不可见的内部思考,按较高的输出价格计费,并会增加 4 至 20 倍成本;输出令牌是你实际看到的内容,价格通常是输入令牌的 3 至 5 倍。推理层就像餐厅账单上的“厨房时间”,总会让人措手不及。

更高的推理强度并不总能带来更好的答案

较高的推理强度可能让令牌数量增加 10 至 12 倍,但对于简单问题,较低的推理强度通常能通过避免模型过度思考,带来更低的单任务成本和更好的质量。GPT-5 级别模型的差距也在扩大:每百万输入令牌 10 美元,而输出令牌为 50 美元。

更便宜的模型可能更贵

Databricks 在自己的代码库上测试了编程代理:Sonnet 5 的单令牌成本比 Opus 4.8 低 1.7 倍,但每项任务的成本约为 2.09 美元,而 Opus 为 1.94 美元,因为 Sonnet 5 需要更多轮迭代。经验是:选择合适的模型,而不是最便宜的模型。在质量相同的情况下,不同代理框架的单任务成本差异也超过 2 倍。

能够进行比较的唯一指标是每个被接受任务的成本

把重试、审核和每一次修正都算进去,然后除以被接受的结果,这就是每个被接受任务的成本。实际审计方法是:让模型和工具选项分别执行 5 至 10 个有代表性的任务,保持输入和质量不变,然后比较首次成功率、人工修正量、耗时和总成本。

三类令牌:学习、产出和空转

用于学习的令牌包括实验、失败的工作流、身份文件和记忆,它们是学费,应该毫无畏惧地投入。用于产出的令牌会交付真正的工作。空转令牌则包括机器自说自话、闲置代理、臃肿上下文和错误的模型选择,它们只有活动没有产出。令牌智慧的做法是:按顺序消灭空转、调优产出、保护学习。

Nufar 那台自说自话、产生 1500 美元账单的机器

她禁用的“Chloe”幕僚长代理运行在 Anthropic API 上,账单发送到一个备用收件箱。她外出旅行期间没有使用它,却仍然收到账单:两周内产生 1500 美元费用,输入约 4 亿个令牌,输出接近于零,输入输出比例约为 2600:1。原因是 cron 作业每 30 分钟压缩一次空会话。如果 AI 专家都可能遇到这种情况,那么任何由公司持有付款卡的人也都可能遇到。

空转不只是错误,也包括那些悄悄变得不值得的事情

— Nathaniel Whittemore NLW 运行过一个 OpenClaw 代理,让它持续研究新的 AI 采用数据源。它完全按照指令执行,却不值得为此付出相应成本。审计空转,意味着要发现那些意外变成空转的流程,而不只是查找明显错误,例如每小时挖掘 Slack 信息,或一份没人阅读的晨报。

悄悄消耗令牌的常见嫌疑对象

需要关注闲置或运行过于频繁的代理、未使用的自动化、始终开启的规则和工具定义带来的“预提示词税”、不会结束的对话、未经筛选的数据检索(需要 20 行却取回 500 行)、分散的上下文,以及反复返工的循环。诊断方法包括周末测试、极端的输入输出比例,以及支出不断上升但价值保持不变的情况。

任何人都能养成的六个令牌管理习惯

开启新任务就建立新会话;有意识地选择模型;调整上下文规模,达到恰到好处的程度,不要过多或过少;构建可复用的技能和自动化,而不是临时反复提问;尽可能过滤数据;当模型的推理显示方向不对时尽早终止任务,而不是任由它继续空转。

使用 /doctor 审计自己的设置

Anthropic 的 Claude Code /doctor 命令会审计令牌分布、过时技能、重复的工具配置,以及过长或相互重叠的指令,并给出具体的删除或精简建议。非 Claude 用户也可以让自己的 AI 重现同样的审计,这并不复杂。

模型路由仍处于早期阶段,而偏好依然重要

— Nathaniel Whittemore NLW 预计,路由规范会先在确定性较强的软件工程领域得到解决;而在知识工作中,情况会混乱得多,因为偏好取决于回答的性质,而不是基准测试分数。GPT-5 的自动路由器曾让超级用户感到沮丧,这证明人们希望保留控制权;因此,理解模型能力仍然是一项高杠杆技能。

捍卫学习预算,而不只是削减账单

目标不只是降低账单,还要提高回报,而这往往意味着要在能带来学习的令牌上花更多钱:用三种方式执行同一任务,试验工具和技能,并构建上下文,让模型给出个性化且了解组织背景的结果。一项涵盖 2 万名开发者的研究发现,AI 使用量最高的人生产力约为其他人的两倍。

对组织而言:让使用量可见,然后分层管理预算

让消耗情况可见,并教会员工聪明地使用,而不是一味节省。根据工作负载和个人分配预算:为整个团队构建可复用技能的人,应该比把 AI 当成加强版 Google 使用的人获得更多预算;同时定期审计过时的自动化和指令。