给纯文本模型接视觉：OCR、描述与视觉工具

信息层级：【有据可查】= 附官方文档或可信来源链接；【社区共识】= 社区用户普遍经验，未经官方确认；【待考察/推测】= 推测或暂未能核实，请谨慎对待。

场景：你主力用的模型（例如某些纯文本模型或便宜的本地模型）不支持图片输入，但工作里经常要看截图、报错图、图表。怎么办？

---

1. 先确认：你的模型真的不能看图吗？

检查方式	说明	层级
看官方模型卡/文档的"输入模态"	写 text 还是 text + image	有据可查（各家文档）
看 API 是否接受 image_url / image 内容块	不接受就会 400 报错（见API 报错速查：状态码、错误正文与重试）	有据可查
看 Agent 是否把图片传过去	有的 Agent 外壳不支持传图，即使模型支持	社区共识

---

2. 三种外挂方案

方案	怎么做	优点	缺点	适合
A. OCR	用 OCR 把图里的文字提出来，贴给模型	免费/本地、准确提取文字	只有字，没有布局、颜色、图形	报错截图、文档扫描
B. 视觉模型写描述	让一个多模态模型把图描述成文字，再交给主模型	能描述非文字信息	二手信息，细节可能丢失或描述错误	界面截图、示意图
C. 视觉工具 / MCP / 子代理	在 Agent 里注册一个"看图工具"，主模型需要时调用并可追问	可多轮追问、按需调用	需要配置；多一次调用的成本	Agent 工作流

2.1 方案 C 的工作方式

【社区共识】多数 Agent 支持 MCP 或自定义工具（见DSH 日常工作流、profile 与进阶用法、Codex 本地使用：安装、权限、项目规则与排错、Claude Code 使用：安装、权限与项目工作流、ZCode 使用：连接模型、执行模式与目标任务、Cursor 使用：项目规则、执行模式与自带 Key、Grok Build 使用：安装、权限、沙箱与目标任务、WorkBuddy 使用：工作空间、文档任务与模型设置、OpenClaw 入门：独立环境、配置与安全边界、Qoder 使用：IDE、CLI、权限与自定义模型、千问办公使用：个人空间、扩展与文档交付），可以把一个多模态模型包装成"看图工具"。具体配置方法以各 Agent 文档为准。

---

3. 让外挂效果更好的技巧【社区共识】

1. 给视觉模型明确任务："只提取报错文字，原样输出"比"描述这张图"更有用。
2. 要求结构化输出：例如"按 {文字内容, 界面元素, 异常之处} 输出"。
3. 截图前先裁剪：只保留相关区域，降低识别错误和费用。
4. 能复制就别截图：报错文字、日志直接复制粘贴，永远比 OCR 准。
5. 关键结论回看原图：外挂链路有"传话失真"，重要判断自己再看一眼。

---

4. 什么时候应该直接换原生多模态模型？

---

5. 隐私提醒

• 截图常包含账号、Key、聊天记录、客户信息——发给任何云端视觉模型前先打码。【社区共识】
• 本地 OCR / 本地小视觉模型（见 Ollama 入门：下载模型、对话、API 与 Modelfile Ollama）可以避免上传，但效果可能较弱。

---

6. 本篇无法核实/需谨慎的点

• 各 Agent 是否原生支持图片传递、如何注册视觉工具：随版本变化，未逐一核对。
• 本地视觉模型的识别准确率：依模型与图片类型差异很大。

小白练习：把本文流程逐项走通

练习目标：把截图信息转换成能被文本模型使用的材料。

上文已介绍概念、配置和操作示例。下面侧重第一次实际操作时的顺序、检查点和结果核对；需要查具体参数时回到对应小节。命令逐条输入，看到上一条的结果后再继续。

1. 先选一张不含个人信息的截图，确认要读取的是文字、布局还是图形关系。

2. 文字报错优先直接复制；无法复制时先用 OCR 提取，再逐行回看原图修正识别错误。

3. 需要布局或图形时，用可看图的模型描述目标区域，要求区分看见的事实和推测。

4. 把校对后的文字、图片尺寸和必要的位置关系发给主模型，再让它提出解释或操作方案。

5. 主模型提到某个按钮、数字或位置时回看原图核对；仅声明 input 为 image 不会给纯文本模型增加视觉能力。