AWS Builder Center
不让你破产的 agent:AWS 上的 agent 系统成本控制

不让你破产的 agent:AWS 上的 agent 系统成本控制

agent 消耗的 token 远多于普通对话,所以成本必须在第一次运行之前就设计进去。本文给出一个"三个时刻"框架(启动之前、使用期间、持续进行),每个时刻都分为系统侧和人员侧。最后用我们内部的 BOM agent COBRA 做一个实例:一份典型估算的运行成本约为 0.05 美元,每月剩余成本中约 87% 来自架构师的复核。

AI Solution Architect | AWS CB | AI Tinkerer Hong Kong Co-Organiser | 22x AWS certified

不让你破产的 agent:AWS 上的 agent 系统成本控制

agent 消耗的 token 远多于普通对话,所以成本必须在第一次运行之前就设计进去。本文给出一个"三个时刻"框架(启动之前、使用期间、持续进行),每个时刻都分为系统侧和人员侧。最后用我们内部的 BOM agent COBRA 做一个实例:一份典型估算的运行成本约为 0.05 美元,每月剩余成本中约 87% 来自架构师的复核。

agent 的采用速度很快

  • 88% 的企业负责人表示正在使用或试用 AI agent,一年前为 72%(Zapier AI Agents 调查,2026)。
  • Gartner 预测,到 2026 年底,40% 的企业应用将包含面向特定任务的 agent,2025 年这一比例不到 5%。
token 的增长比 agent 数量更快。Anthropic 测得,单个 agent 消耗的 token 约为普通对话的 4 倍,multi-agent 系统约为 15 倍( How we built our multi-agent research system )。因此,从对话转向 agent,改变的不只是用量,还有单位成本。

成本从哪里流失

通常有三处出问题:
  1. 循环与臃肿。 agent 循环、重试和过长的历史记录会不断累加。仅 tool definitions 就可能在对话开始之前占用 55K–134K token( Advanced tool use )。
  1. 项目被取消。 Gartner 预计,到 2027 年底,超过 40% 的 agentic AI 项目会被取消,原因包括成本攀升、业务价值不清晰或风险控制不足。在 Harness 的《State of AI in FinOps 2026》中,20% 的企业表示每月在 AI 上的支出达到 100 万美元。
  1. 不知道该向谁收费。 如果每个团队共用同一个账户或 API 密钥,就无法把费用回收到实际产生费用的业务单元(BU)。FinOps Foundation 的《State of FinOps 2026》显示,98% 的受访者现在管理 AI 支出,两年前这一比例为 31%。

思路:成本是一项架构决策

AWS 已经提供了现成的结构。 Well-Architected Generative AI Lens  把 Well-Architected 的六大支柱应用到生成式 AI 的整个生命周期。本文取其中的成本优化支柱,并把它落到实处。
这个框架包含三个时刻和两类责任方:

启动之前
使用期间
持续进行
系统(平台强制执行的部分)
模型选择、orchestration、effort 与 retry 上限、harness、预算与告警、打标签
prompt caching、节省 token 的 tool、按 workload 选择调用方式
预算告警、FinOps、评估、简化
人员(用户和负责人的做法)
ROI 门槛、工作坊
prompt engineering
分摊展示、实践手册、倡导者

1. 启动之前

系统
  • 模型选择。 使用能通过你评估的最小模型。把子任务路由给更便宜的模型:Anthropic 的研究系统就是由较强的主 agent 搭配较便宜的 subagent。
  • orchestration。 按 token 倍数选择模式:workflow,其次 single agent,最后 multi-agent。只有当任务价值足以支撑约 15 倍的 token 时,才使用 multi-agent。
  • effort 与 retry 上限。 Anthropic 研究系统的早期版本曾为简单查询启动 50 个 subagent。要在 prompt 中写明规模规则(简单问题只用一个 agent 和少量 tool call),并对 retry、tool call 和轮次设置硬上限。
  • Harness。 只有当模型无法独立完成任务时,harness 才值得它的成本。Anthropic 报告称,在一个长时间运行的应用上,完整 harness 的成本是单个 agent 运行的 20 倍以上( Harness design for long-running apps )。
  • 预算与告警。 从第一天起,按账户或标签设置 AWS Budgets。
  • 给每次调用打标签。 为每个 BU 或应用创建一个带标签的  Amazon Bedrock application inference profile ,标签如  business-unit  和  cost-center 。这些标签会流入 Cost Explorer 和 Cost and Usage Report,从而解决"该向谁收费"的问题。
代码示例。 第一段代码创建一个带标签的 profile,并通过它发起调用。第二段代码(接着第一段)给 agent loop 加上轮次、tool call 和 token 的硬上限,并返回 token 用量,方便你给每次运行定价。
import boto3

bedrock = boto3.client("bedrock", region_name="us-east-1")
runtime = boto3.client("bedrock-runtime", region_name="us-east-1")

# 每个业务单元一个带标签的 application inference profile
profile = bedrock.create_inference_profile(
inferenceProfileName="cobra-hk-prod",
description="COBRA agent, Hong Kong BU",
modelSource={"copyFrom": "<model-or-system-inference-profile-ARN>"},
tags=[
{"key": "business-unit", "value": "hk-presales"},
{"key": "cost-center", "value": "CC-1234"},
{"key": "application", "value": "cobra"},
],
)
profile_arn = profile["inferenceProfileArn"]

# 每次调用都通过 profile ARN,费用就会落到这些标签上
resp = runtime.converse(
modelId=profile_arn,
messages=[{"role": "user", "content": [{"text": "Summarise this inventory."}]}],
inferenceConfig={"maxTokens": 512},
)
MAX_TURNS = 8 # 每个任务的模型调用次数硬上限
MAX_TOOL_CALLS = 12 # 每个任务的 tool 执行次数硬上限
MAX_TOKENS_PER_TASK = 150_000

USAGE_KEYS = ("inputTokens", "outputTokens", "cacheReadInputTokens", "cacheWriteInputTokens")

def add_usage(totals, usage):
for k in USAGE_KEYS:
totals[k] = totals.get(k, 0) + usage.get(k, 0)

def run_task(task, system, tool_config, run_tool):
messages = [{"role": "user", "content": [{"text": task}]}]
usage, tool_calls = {}, 0
for _ in range(MAX_TURNS):
resp = runtime.converse(
modelId=profile_arn, system=system, messages=messages,
toolConfig=tool_config, inferenceConfig={"maxTokens": 1024},
)
add_usage(usage, resp["usage"])
message = resp["output"]["message"]
messages.append(message)
if resp["stopReason"] != "tool_use":
return {"status": "completed", "usage": usage, "answer": message["content"]}
uses = [b["toolUse"] for b in message["content"] if "toolUse" in b]
tool_calls += len(uses)
if sum(usage.values()) > MAX_TOKENS_PER_TASK or tool_calls > MAX_TOOL_CALLS:
return {"status": "stopped_over_budget", "usage": usage}
results = [
{"toolResult": {"toolUseId": u["toolUseId"],
"content": [{"json": run_tool(u["name"], u["input"])}]}} # tool 的返回结果必须是 JSON 对象(dict)
for u in uses
]
messages.append({"role": "user", "content": results})
return {"status": "stopped_max_turns", "usage": usage}
这些只是展示基本形态的最小示例,不是生产代码。请替换占位符、补充错误处理,并确保你的 IAM role 允许这些调用。
人员
  • ROI 门槛。 在开发之前,把一次完成任务的价值与目标单任务成本对比。如果差距无法弥合,就调整或停止项目。
  • 工作坊。 帮助团队分清什么时候需要 agent,什么时候对话或简单 workflow 就够了,如何界定任务范围,以及一次运行要花多少钱。

2. 使用期间

系统
  • prompt caching。 在支持的 Amazon Bedrock 模型上,缓存最多可降低 90% 的输入成本和 85% 的延迟( Amazon Bedrock 成本优化 )。把稳定的 system prompt 和 tool 放在前面,可变内容放在后面,这样前缀就能保持可缓存。
  • 简洁的 tool 回复。 为 tool 提供"简洁"响应模式。Anthropic 发现它只用了大约三分之一的 token( Writing tools for agents )。
  • programmatic tool calls 与 code execution。 在代码中处理中间数据,而不是放进模型 context。Anthropic 报告称,在复杂研究任务上平均减少 37% 的 token,其中一个例子从 150K 降到 2K( Code execution with MCP )。
层级
适用场景
Priority
面向客户、对延迟敏感的工作(溢价)
Standard
默认的交互式工作
Flex
能容忍延迟的工作(有折扣)
Batch
通过 Amazon S3 的异步任务,价格为按需价格的 50%;不支持 tool call
Reserved
稳定的大批量 workload
请查看定价页面,了解你所用模型和区域当前的 Priority 与 Flex 价格。
prompt caching 和 service tier 可以放在同一次 Converse 调用里。把稳定内容放在缓存检查点之前,可变内容放在之后:
resp = runtime.converse(
modelId=profile_arn,
system=[
{"text": STABLE_SYSTEM_PROMPT}, # 稳定内容放前面
{"cachePoint": {"type": "default"}}, # 缓存此行以上的全部内容
],
messages=[{"role": "user", "content": [{"text": variable_question}]}], # 可变内容放最后
serviceTier={"type": "flex"}, # "default"(Standard)、"priority" 或 "flex"
inferenceConfig={"maxTokens": 512},
)

u = resp["usage"]
print("input", u["inputTokens"], "| cache read", u.get("cacheReadInputTokens", 0),
"| cache write", u.get("cacheWriteInputTokens", 0), "| output", u["outputTokens"])
并非每个模型都能通过 Converse 使用所有 tier 或 prompt caching,请先查看该模型的 model card。可以等待的任务可以改用 batch job:
job = bedrock.create_model_invocation_job(
jobName="cobra-overnight-estimates",
roleArn="arn:aws:iam::<account-id>:role/<BedrockBatchRole>",
modelId="<model-id>",
inputDataConfig={"s3InputDataConfig": {"s3Uri": "s3://<bucket>/input/requests.jsonl"}},
outputDataConfig={"s3OutputDataConfig": {"s3Uri": "s3://<bucket>/output/"}},
tags=[{"key": "business-unit", "value": "hk-presales"}],
)
print(job["jobArn"])
人员
  • 带着意图写 prompt。 说明目标、输出格式、tool 指引和任务边界。要求输出简洁:在我们核算价格的 Anthropic 模型上,输出 token 的价格约为输入 token 的五倍(每百万 token 11.00 美元对 2.20 美元,区域内标准价,us-east-1,AWS Price List,2026 年 11 月 9 日)。
  • 新任务开新会话, 不要沿用冗长的历史记录。

3. 持续进行

系统
  • 衡量、分摊、评估、简化。 使用 Budgets、Cost Anomaly Detection 和 Amazon CloudWatch 的 token 指标,然后按 inference profile 标签分摊成本。
  • 选定一个单位指标。 跟踪每个完成任务的成本,而不是每月 token 数。
  • 评估。 一组固定的任务集可以为每次变更提供 token、成本、延迟和错误率,这样削减成本时就不会悄悄牺牲质量( Demystifying evals for AI agents )。
  • 简化。 每次模型升级后,重新检查你的 harness。新模型已经不需要的 scaffolding,纯属多余成本。
要跟踪每个完成任务的成本,先根据 token 用量给每次运行定价,再按标签汇总每月账单:
# 价格单位为每百万 token 的美元:请从 AWS Price List 中查你的模型、区域和 tier
def run_cost(usage, price):
return (usage.get("inputTokens", 0) * price["input"]
+ usage.get("outputTokens", 0) * price["output"]
+ usage.get("cacheReadInputTokens", 0) * price["cache_read"]
+ usage.get("cacheWriteInputTokens", 0) * price["cache_write"]) / 1_000_000

def cost_per_completed_task(results, price):
spend = sum(run_cost(r["usage"], price) for r in results)
done = sum(1 for r in results if r["status"] == "completed")
return spend / done if done else None

# Showback by tag (该标签须先在 Billing 中激活为 cost allocation tag)
ce = boto3.client("ce", region_name="us-east-1")
report = ce.get_cost_and_usage(
TimePeriod={"Start": "2026-11-01", "End": "2026-12-01"},
Granularity="MONTHLY",
Metrics=["UnblendedCost"],
GroupBy=[{"Type": "TAG", "Key": "business-unit"}],
)
for g in report["ResultsByTime"][0]["Groups"]:
print(g["Keys"][0], g["Metrics"]["UnblendedCost"]["Amount"])
请填入你所用模型、区域和 service tier 的价格。Cost Explorer 查询只有在标签被激活为 cost allocation tag 之后才会返回该标签。
人员
  • 分摊展示(showback)。 每月与各 BU 一起回顾成本。
  • 实践手册与倡导者。 维护一份行之有效的做法手册,并指定倡导者把这些习惯传下去。

实例:COBRA

COBRA 是 Ingram Micro 香港的内部应用,可以把客户的服务器清单转换成一份可复核的 AWS 物料清单(BOM)。它的 agent 版本运行在 AWS 上。我想回答的问题不是"token 账单是多少?",而是"一次运行的成本与它带来的价值相比如何?"
每月的组合(Ingram Micro 香港估算):1 份高难度 BOM、6 份中等难度和 5 份小型 BOM。人工完成时,一份高难度 BOM 需要 1 人天(MD),中等难度需要 2 小时,小型需要 30 分钟。我们把 1 MD 定价为 500 美元,并假设每个 MD 为 8 个工作小时,即每小时 62.50 美元。使用 COBRA 时,由架构师复核输出:高难度 BOM 10 分钟,中等难度 5 分钟,小型无需复核。COBRA 每月还会使用 2 个 Amazon Quick agent 小时,每小时 3 美元。
BOM
人工
COBRA 运行
架构师复核
使用 COBRA 合计
节省
高难度
500.00 美元
0.15 美元
10.42 美元
10.57 美元
97.9%
中等
125.00 美元
0.05 美元
5.21 美元
5.26 美元
95.8%
小型
31.25 美元
0.01 美元
无
0.01 美元
99.97%
按每月的组合相乘,再加上固定的 Quick agent 小时,得到每月合计:
每月组合
BOM 数量
人工
使用 COBRA
节省
高难度
1
500.00 美元
10.57 美元
489.43 美元
中等
6
750.00 美元
31.55 美元
718.45 美元
小型
5
156.25 美元
0.05 美元
156.20 美元
Quick agent 小时
2 小时,每小时 3 美元
无
6.00 美元
-6.00 美元
每月合计
12
1,406.25 美元
48.17 美元
1,358.08 美元(96.6%)
上表的单份 BOM 数字不含 Quick agent 小时,因为它是固定的月度成本。整个月下来,人工成本约为 1,406 美元(22.5 小时)。使用 COBRA 约为 48 美元:架构师复核 41.67 美元,Quick agent 小时 6.00 美元,运行 0.50 美元。这大约便宜了 29 倍,每月节省约 1,360 美元。
有两点值得注意:
  • 运行很便宜,复核才是成本。 复核约占剩余成本的 87%,Quick agent 小时约占 12%,运行约占 1%。这正是人力应该投入的地方,也告诉我们下一步该往哪里看。
  • 比值才是你要捍卫的。 财务团队无法评判 token 账单,但可以评判"48 美元对 1,406 美元"。
这些数字是内部估算,不是经过审计的结果。运行成本是我们用于规划的单次运行估算值,不是 AWS 公布的价格。Quick agent 小时按每小时 3 美元计算。

五个要点

  1. agent 会成倍放大 token,所以要在第一次运行之前就为成本做设计。
  1. 从第一天起,把每次调用都标记到负责人。
  1. 让每次调用都匹配合适的模型和 service tier。
  1. 做好 context engineering:缓存它、精简它,并把数据处理交给代码。
  1. 衡量每个完成任务的成本,并随着模型进步不断简化。

接下来可以做什么

  • 为你的下一个 agent workload 创建一个带标签的 application inference profile。
  • 选一个 workload,判断 Standard、Flex 还是 Batch 更适合它。
  • 在上线前确定你的单位指标(每个完成任务的成本),并把它放到 dashboard 上。
如果你想聊聊自己的 agent workload,欢迎在 LinkedIn 上联系我。
Any opinions in this article are those of the individual author and may not reflect the opinions of AWS.
Enjoyed reading this content? Let the author know!

Your likes, comments, shares, and saves help creators reach more builders.

Loading recommendations

Loading article