功能 · 模型测速

大模型测速：本地实测首字延迟和每秒 Token 数

Q: 什么是首字延迟（TTFT）？对编程 Agent 为什么重要？

首字延迟是模型开始回答前你需要等待的时间。Agent 会在循环中频繁发出短请求，每次多等几百毫秒，一个会话累积下来就很明显。

Q: 怎么测大模型每秒输出多少 Token？

在 AutoJev 的「模型」页面选中模型并运行测速。每个模型发送三个流式请求，根据服务商返回的用量，计算首段内容之后每秒输出的 Token 数。

Q: 测速要花钱吗？

会有少量费用。每次测试会通过你自己的服务商 Key，为每个模型发送三个输出上限 128 Token 的简短流式请求。

Q: 可以关闭自动测速吗？

可以。定时测速默认开启、每 30 分钟一次，可在「设置 → 通用」中关闭，或把间隔设为 5 到 120 分钟。

Q: 测速数据会被发送出去吗？

数据保存在本地。智能路由使用「均衡」或「更高质量」偏好时，近期性能数据会作为路由元数据的一部分发给 Jev 决策模型。

服务商公布的跑分，说明不了今天、在你的网络、用你的 Key 时模型到底有多快。AutoJev 帮你实测每个模型的首字延迟和输出速度，并用这些数据为对延迟敏感的请求选模型。

首字延迟 + 每秒输出 Token
每次测试每个模型发 3 个流式请求
默认每 30 分钟自动测速
驱动「更低延迟」路由偏好

下载 AutoJev GitHub 上查看

模型

▶ 测速

模型首字延迟测速

deepseek-chat620 ms58 t/s

claude-sonnet940 ms71 t/s

gpt-5-mini780 ms96 t/s

qwen3:14b210 ms42 t/s

为什么要自己测速

首字延迟（TTFT）和输出速度会随服务商、地区、时段，甚至你所用的代理而变化。别人觉得很快的模型，放进你的 Agent 循环里可能就是慢。

AutoJev 从 Agent 所在的同一台机器、同一个网络、同一套出站代理设置发起测试。结果直接显示在「模型」列表中，延迟和输出速度一行展示，鼠标悬停可查看样本数、成功率和测试时间。

测速测的是什么

指标	含义
首字延迟	从发出请求到收到第一段真实内容的毫秒数。仅含角色信息的事件、用量事件和心跳都不算。越低越快。
输出速度	首段内容之后每秒输出的 Token 数。服务商没有返回完整用量时显示为未知。
成功率	成功完成的样本占比，用于降低不稳定模型的排名。
样本	每个模型最多保留 30 个样本，重启后仍在。过期样本会明确标注。

一次测速的过程

选中模型后点击测速；未选择时，自动测试所有已启用模型
选中的模型并发测试，每个模型依次发送 3 个流式请求
固定的简短提示词，输出上限 128 Token，总超时 20 秒
实时显示进度，可随时取消；同一时间只运行一批测试
Agent 发出的真实流式请求完成后，也会更新测速数据
测速会消耗服务商的 API 用量，会体现在你的服务商账单上

定时测速，数据常新

默认开启

应用运行期间（包括最小化到托盘时）每 30 分钟自动测速一次。可在「设置 → 通用」中把间隔调整为 5 到 120 分钟。

只测过期的

调度器每分钟检查一次，跳过样本仍在有效期内的模型，Agent 刚用过的模型不会重复花钱去测。

和真实接口绑定

样本与服务商、上游模型 ID、接口地址和协议绑定。改了地址或协议，旧样本就不再计入。

不保存提示词

样本只记录耗时、Token 数、是否成功和时间戳，从不保存提示词或密钥。

「更低延迟」偏好如何使用测速数据

偏好设为「更低延迟」的智能路由，会在本地完成排序，不调用 Jev 决策模型。

1
筛选
保留已启用、状态健康，且满足请求上下文、工具、视觉需求和任务所需等级的候选。
2
分组
只保留最高可用优先级的那一组。
3
取近期样本
最多取最近 30 分钟内的 5 个样本，优先使用同一上下文区间（<4K、4K–32K、≥32K 输入 Token）的真实请求，冷启动时用测速探针估算。
4
打分
排除没有延迟数据或成功率低于 50% 的候选。用首字延迟中位数加上按输出速度中位数推算的生成时间，再除以成功率，估算总耗时。
5
平稳兜底
没有可比数据时，路由改用负载均衡，之后由定时测速补齐数据。已有会话在模型可用期间保持不变。

短探针的局限，我们直说

测速探针用的是简短提示词，无法保证长上下文请求时谁最快。所以只要有同一上下文区间的真实请求数据，AutoJev 都会优先使用它们。

常见问题

什么是首字延迟（TTFT）？对编程 Agent 为什么重要？

首字延迟是模型开始回答前你需要等待的时间。Agent 会在循环中频繁发出短请求，每次多等几百毫秒，一个会话累积下来就很明显。

怎么测大模型每秒输出多少 Token？

在 AutoJev 的「模型」页面选中模型并运行测速。每个模型发送三个流式请求，根据服务商返回的用量，计算首段内容之后每秒输出的 Token 数。

测速要花钱吗？

会有少量费用。每次测试会通过你自己的服务商 Key，为每个模型发送三个输出上限 128 Token 的简短流式请求。

可以关闭自动测速吗？

可以。定时测速默认开启、每 30 分钟一次，可在「设置 → 通用」中关闭，或把间隔设为 5 到 120 分钟。

测速数据会被发送出去吗？

数据保存在本地。智能路由使用「均衡」或「更高质量」偏好时，近期性能数据会作为路由元数据的一部分发给 Jev 决策模型。

继续了解

功能智能模型路由用 autojev/fast 这样的路由接入所有 Agent，可负载均衡，也可交给 Jev 按成本、质量、速度或均衡智能选模型。使用场景模型评测实测首字延迟和 tokens/s，用调试台发送相同提示词，基于真实 Agent 流量按模型统计。功能故障转移与负载均衡权重分配、优先级分组和会话保持，遇到 429、5xx 自动切换备用模型，冷却时间遵循 Retry-After。功能调试台以对话或 cURL 模式测试模型和路由，查看选中模型、耗时、Token、费用和原始 JSON。使用场景本地优先开发者优先使用 Ollama 本地模型，必要时故障转移到云端。网关只监听本机，日志只存元数据，无需账号。

更新于 2026-10-14

给每个智能体，配上合适的模型。

安装 AutoJev，添加你已有的模型服务商，一键接入智能体。所有数据都留在你的电脑上。