优先用本地模型，需要时再上云

本地优先的两难

配置步骤：带云端兜底的本地优先路由

1. 1

   添加 Ollama

   「服务商」→「添加服务商」→ Ollama。接口地址预设为 http://127.0.0.1:11434，无需 Key。按 `ollama list` 输出的名称添加本地模型，如实填写等级、能力标记和上下文窗口。

2. 2

   添加一个云端兜底

   添加一个云端服务商，例如 DeepSeek、OpenRouter 或任意 OpenAI 兼容接口，再加一两个模型，兜住本地处理不了的请求。

3. 3

   创建路由

   新建路由 `local`，策略选负载均衡。Ollama 模型放在更高的优先级分组，云端模型放在较低分组。请求先发给本地模型；如果在开始输出前出现连接错误或 401/402/403/408/429/5xx，AutoJev 会转到云端模型。

   text复制

   Route: autojev/local Strategy: Load balancing Candidates: ollama/qwen3-coder:30b priority 2 weight 1 deepseek/deepseek-chat priority 1 weight 1
4. 4

   或者交给 AutoJev 判断

   也可以改用智能选择并开启「优先使用本地模型」：当 Ollama 模型的能力和质量等级与云端候选相同时优先用它，请求确实需要更强的模型时再用云端。

5. 5

   连接 Agent 并实测

   为 Agent 选择 `autojev/local` 并连接。运行测速，看看你的硬件上本地与云端模型的首字延迟和 tokens/s 各是多少。

从本地故障转移到云端

开始输出前，失败的候选会被跳过，转而尝试下一个。每个候选最多尝试一次，默认冷却 30 秒。

哪些留在本地，哪些不会

直接调用单个模型、负载均衡路由以及「速度优先」从不调用 Jev，完全在本机决策。

继续了解

集成Ollama在任意编程 Agent 中使用 Ollama 本地模型，路由可优先本地，必要时故障转移到云端。功能故障转移与负载均衡权重分配、优先级分组和会话保持，遇到 429、5xx 自动切换备用模型，冷却时间遵循 Retry-After。功能智能模型路由用 autojev/fast 这样的路由接入所有 Agent，可负载均衡，也可交给 Jev 按成本、质量、速度或均衡智能选模型。功能模型测速在你自己的网络下定时实测首字延迟和每秒输出 Token，并据此为低延迟请求选择模型。集成OpenAI 兼容接口Kimi、通义千问、硅基流动、MiniMax、vLLM、LM Studio 等任意 OpenAI 兼容接口，所有 Agent 都能用。