使用场景 · 模型评测

用你真实的编码工作流评测模型，而不是看排行榜

基准测试告诉你模型在别人的任务上表现如何。AutoJev 让你在真正重要的地方衡量模型：就在你每天使用的 Agent 里，用测速、调试台、日志和按模型统计的用量说话。

每个模型的首字延迟和输出 tokens/s
调试台支持对话模式和 cURL 模式
按模型统计成功率、耗时、Token 和费用
切换 Agent 背后的模型，无需改配置

下载 AutoJev GitHub 上查看

模型

▶ 测速

模型首字延迟测速

deepseek-chat620 ms58 t/s

claude-sonnet940 ms71 t/s

gpt-5-mini780 ms96 t/s

qwen3:14b210 ms42 t/s

为什么模型对比这么难

各家的统计口径不同

每个服务商后台的延迟和用量视图都不一样，有的干脆没有，不同服务商之间的数据无法直接比较。

网络和地区影响很大

在别人的测试里很快的模型，从你所在的位置、在你工作的时段调用，可能就是慢。

切换有摩擦

在 Agent 里试一下模型 B，就得改配置，试完再改回来。于是大多数对比根本没做成。

感觉不等于数据

「今天好像变慢了」，没有逐次请求的耗时和成功率，很难据此做决定。

AutoJev 如何把感觉变成数据

所有模型都在同一个网关后面，所以无论来自测速、调试台还是 Agent，每个请求都用同一种方式度量。测速会对每个模型发送三次简短的流式请求，记录首字延迟和输出 tokens/s；每个模型最多保留 30 个样本，默认每 30 分钟自动重测（可设为 5–120 分钟）。Agent 发出的真实流式请求也会更新这些数据。

Agent 连接的是 AutoJev，而不是某个服务商，所以切换 Agent 背后的模型只是在应用里换个选择，不用改配置文件。「日志」和「用量」把所有模型放在同一张表上：Token、首字节时间、总耗时、预估费用、状态和成功率。

评测步骤：一周内对比两个模型

1
添加候选模型
添加两个模型（可以来自任意服务商），准确填写价格、等级、能力标记和上下文窗口，并分别运行服务商测试。
2
运行测速
在「模型」页面同时选中两个模型运行测速。每个模型会收到三次使用固定短提示词、输出上限 128 Token 的流式请求。鼠标悬停在结果上，可查看样本数、成功率和测试时间。
3
在调试台发送相同的提示词
打开「调试台」，选模型 A 发送提示词，再选模型 B 发送同一条提示词。每次都会显示选中的模型、耗时、Token、预估费用和原始 JSON。还可以切换 API 类型，看看模型在 Chat、Responses、Messages 下的表现，或添加最多 4 个附件（每个 ≤4 MB）和自定义参数。
4
分流真实流量
创建一条负载均衡路由，两个模型优先级相同、权重相等，然后把 Agent 连接到这条路由。会话粘性让每段对话固定在一个模型上，结果可以清楚地归因。
text
Route: autojev/ab-test Strategy: Load balancing Candidates: provider-a/<model_a> priority 1 weight 1 provider-b/<model_b> priority 1 weight 1
5
查看结果
在「用量」中按模型拆分：请求数、Token、缓存命中率、预估费用、成功率和平均耗时。在「日志」中按模型筛选，打开单条请求可以看到上游尝试记录。

调试台

对话模式适合快速来回测试，cURL 模式用于精确控制请求体。每次真实测试都会开启新会话。

调试

autojev/quality

总结失败的测试，并给出修复方案。

测试失败是因为日期解析忽略了时区偏移。比较前先统一转换为 UTC……

模型openrouter/claude-sonnet

首字延迟842 ms

首字 / 总耗时3.9 s

输入 / 输出1,204 / 318

预估费用$0.0084

在应用外复现请求

cURL 模式向本地网关发送 JSON。同样的请求可以在终端里运行，只需更换模型就能对比。

相同提示词，不同模型

for model in deepseek/deepseek-chat openrouter/anthropic/claude-sonnet-4; do
  curl -s http://127.0.0.1:9527/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer autojev-local-eval' \
    -d "{\"model\": \"$model\", \"messages\": [{\"role\": \"user\", \"content\": \"Refactor this function to be pure\"}]}" \
    -o /dev/null -w "$model %{time_total}s\n"
done

你能度量什么

指标	在哪里看
首字延迟、输出 tokens/s	模型（测速 + 真实流式请求）
每次请求的首字节时间和总耗时	日志
输入、输出、缓存 Token 与预估费用	日志、用量、调试台
每个模型的成功率和平均耗时	用量
上游尝试与故障转移	日志详情
完整的请求和响应 JSON	调试台

只相信可靠的数据

测速使用固定的短提示词，无法保证长上下文请求下哪个模型最快，这部分由真实请求的数据补足。测速和调试台的真实请求都会消耗服务商额度；服务商没有返回完整 Token 用量时，输出速度显示为未知。

常见问题

AutoJev 是怎么测模型速度的？

每次测速会对每个模型依次发送三次流式请求，使用固定短提示词、128 Token 输出上限和 20 秒超时，记录首字延迟和输出 tokens/s。每个模型最多保留 30 个样本。

能把两个模型放在一起对比吗？

可以在调试台（或 cURL 模式）里对每个模型发送同一条提示词，对比耗时、Token 和费用。真实负载下，用等权重的负载均衡路由给 Agent 分流，再在「用量」中按模型对比。

测速要花钱吗？

会花一点，因为它们是发往服务商的真实请求。定时测速会跳过样本仍然新鲜的模型，你也可以关闭定时测速，或把间隔设在 5 到 120 分钟之间。

怎么快速切换 Codex 或 Claude Code 背后的模型？

在「智能体」页面为该 Agent 选择另一个模型或路由并重新连接，或者直接修改它所用路由里的模型，不需要手动编辑配置。

提示词会被保存下来供以后查看吗？

不会。请求日志只保存元数据。调试台会显示你刚发送的请求的完整响应，但不会写入请求日志。

继续了解

功能模型测速在你自己的网络下定时实测首字延迟和每秒输出 Token，并据此为低延迟请求选择模型。功能调试台以对话或 cURL 模式测试模型和路由，查看选中模型、耗时、Token、费用和原始 JSON。功能用量与请求日志每个请求的 Token、耗时和预估费用，可按 Agent、模型、服务商拆分。只记元数据，全部存在本地。功能故障转移与负载均衡权重分配、优先级分组和会话保持，遇到 429、5xx 自动切换备用模型，冷却时间遵循 Retry-After。使用场景控制 Agent 成本日常请求交给便宜模型，设置成本基准，按 Agent 和模型查看预估花费。不加价。

更新于 2026-10-14

给每个智能体，配上合适的模型。

安装 AutoJev，添加你已有的模型服务商，一键接入智能体。所有数据都留在你的电脑上。