视觉链(Vision Chain)— 最终定案 2026-08-15
权威参考(Hermes 记忆只存指针,细节看本文件)。定案来源:vault
decisions/2026-08-15.md§18。
顺序(免费优先,逐级兜底)
| # | 档位 | 成本 | 备注 |
|---|---|---|---|
| ① | Window MCP | 免费 | AX 树 · 最准 · 多平台发布首选(Hermes 专属 Windows 工具,子代理无此集成) |
| ② | Gemini 3.7 Flash | 免费配额 | 当前主视觉(Prime 已配;key 在 D:\hermes.env GOOGLE_API_KEY) |
| ③ | UI-TARS-1.5-7B API | OpenRouter 0.20 每 M | ScreenSpot-V2 94.2% 点准 · 性价比最高(用户提供 OpenRouter API) |
| ④ | Qwen3-VL-235B | $0.26/M | 开源最强通用视觉理解 |
- 本地全排除:UI-TARS 本地 7B/2B(已删)、OmniParser(CPU 太慢 26s/图,修 CUDA 才值)
- 切换:
python vision_switch.py <档>一条命令(Hermes 侧)
子代理视觉桥(2026-08-17 建,全平台)
PI/OMP/OpenClaw 等子代理没有 Hermes 的 vision_analyze 集成(WSL 无 Window MCP)——用通用桥:
- 脚本:
D:\hermes\scripts\vision_ask.py(全局路径,任何域可调,不绑定域) - 用法:
python D:\hermes\scripts\vision_ask.py <图片路径或URL> "<问题>" [--model gemini|ui-tars|qwen] - 链式逻辑(与 Hermes 同):② Gemini 3.7 Flash(免费)→ ③ UI-TARS-1.5-7B(OpenRouter bytedance/ui-tars-1.5-7b,0.20 M)→ ④ Qwen3-VL-235B(qwen/qwen3-vl-235b-a22b-thinking,$0.26/M)——② 失败自动降级
- key 来源:
D:\hermes\.env(GOOGLE_API_KEY / OPENROUTER_API_KEY) - 手机端(Termux):需自行同步一份脚本(从 vault 或 PC),key 用手机端 .env
- 实测:三档均验证通过(2026-08-17,报价截图读出 QUOLILY0001)
历史(为什么 UI-TARS 在 Qwen 上面)
- 旧版(8/14 前定):Qwen3-VL-235B 第 3(当时 UI-TARS 仅本地版未接 API)、UI-TARS API 第 4——「开源最强」是当时排 Qwen 在前的原因
- 8/15 §18 最终定案:UI-TARS-1.5-7B API(OpenRouter)提到第 3——用户 research 印证 ScreenSpot-V2 94.2% 点准率、性价比最高;Qwen 降到第 4
- ⚠️ 8/11-15 压缩摘要里的 6 档链(Qwen 第 3)是旧版,以本文件为准
子代理映射(同一逻辑)
- Prime:已配 Gemini 3.7 Flash(auth.json google provider,2026-08-10 验证)
- OMP:catalog 1987 视觉模型;加 google provider 切模型即用(当前 DeepSeek 纯文本)
- PI / DSH:无视觉工具(模型 deepseek 文本)→ 遇视觉任务用「截图 + 视觉 API 描述」模式兜底(Gemini 快验 → UI-TARS/Qwen 兜底)
相关
- decisions/2026-08-15.md §18(视觉链最终化)
- 旧分层记忆「Gemini 快验 → MSI Ollama 免费批量」为三机舰队时代方案,已不在正式链
⚠️ 费用澄清(2026-08-20 查明)
- OpenRouter $10 消费不是视觉——是 Hermes auxiliary 压缩/摘要兜底自动 fallback 到付费
google/gemini-3.6-flash(默认通道 connection error 时触发,8/19 11:54 首次) - 视觉链本身干净:
auxiliary.vision= Gemini 3.7 Flash 免费(GOOGLE_API_KEY);vision_ask.py 降级链仅 ui-tars/qwen - 已修复:
auxiliary.free_only: true(8/20 写入 config.yaml,重启后生效)——详见 2026-08-20