01阅读实现教程 →
为文本编程模型挂载视觉能力
现有问题
文本优先的编程模型无法直接理解截图、UI、图表或 PDF 页面,主模型因此缺少关键上下文。
工作流方案
把视觉模型或 OCR 作为主模型可调用的工具。主模型继续负责规划,只有真正需要看图时才触发多模态模型。
01Claude Code
↓
02虚拟模型端点
↓
03主文本模型
↓
04视觉工具
↓
05最终回答
从现有 Agent 的具体限制出发,把增强后的能力发布成一个可以持续复用的虚拟模型。
文本优先的编程模型无法直接理解截图、UI、图表或 PDF 页面,主模型因此缺少关键上下文。
把视觉模型或 OCR 作为主模型可调用的工具。主模型继续负责规划,只有真正需要看图时才触发多模态模型。
单模型容易受自身盲区影响,但让客户端直接管理多个模型、并行调用和结果综合会带来大量重复工程。
用 Fusion 工作流并行调用多个评审模型,再由综合模型生成最终结果。客户端只看到一个模型名。
传统模型代理通常只能看到一次 HTTP 请求,很难解释最终答案经过了哪些模型与工具,以及成本到底发生在哪里。
把工作流本身发布成 OpenAI 或 Claude 兼容 API,并保留节点、模型、工具、Token、耗时与错误的完整关联。