Visual Sketchpad

核心结论

Visual Sketchpad 不是一个新训练的视觉语言模型，而是一套测试时智能体框架。它让现成多模态模型写 Python 代码，调用绘图包或视觉专家，把 bounding box、mask、mark、line、depth map、crop 等结果显示出来，再把这些图像作为下一轮观察继续推理。

论文身份与贡献边界

论文作者为 Yushi Hu、Weijia Shi、Xingyu Fu、Dan Roth、Mari Ostendorf、Luke Zettlemoyer、Noah A. Smith 与 Ranjay Krishna。arXiv 首次提交于 2024 年 6 月 13 日，v3 于 2024 年 11 月 11 日更新，页面明确标注已被 NeurIPS 2024 接收。题名和 venue 没有歧义。arXiv 记录，官方项目页

研究动机与 significance

文本 Chain-of-Thought 能保存语言推理，却不善于承载密集空间信息。人类会画辅助线、圈选区域、标号和局部放大，从而外化工作记忆。论文把这一认知动作工程化：视觉不再只是初始输入，而是智能体可反复写入和读取的工作区。论文进一步主张，深度图和分割等密集信息很难被语言高效表达，而视觉界面能够保留这些结构。论文 §1、§3、§6

问题定义与形式化

论文事实输入是多模态查询 \(q\)，包含文本与一个或多个图像。系统维护上下文 \(c_t\)，其中累积查询、先前 thought、action 和 observation。第 \(t\) 轮先产生计划 \(p_t\)，再生成并执行动作 \(a_t\)，环境返回观察 \(o_{t+1}\)，随后更新：

当模型认为信息充分时，输出特殊的 TERMINATE 以及答案。论文没有把这一过程训练成策略，也没有给出显式优化目标。论文 §3.1

输入与输出

系统机制

代码生成与工具调用

1. 系统 prompt 告知模型它处于 Python Jupyter notebook，并要求逐轮输出 THOUGHT 与可执行 Python code block。
2. 初始 prompt 注入函数签名、docstring、坐标约定、错误警告和示例，但不注入工具完整实现。
3. parser 从回复中提取代码。AutoGen 的本地 Jupyter 执行器在同一会话内运行代码，因此变量与中间状态可跨轮保留。
4. display(...) 产生的 PIL 图像被保存并以图像内容加入下一轮 observation。执行失败时，错误消息会要求模型修复完整代码。
5. 最多自动回复轮数由代码中的 MAX_REPLY = 10 控制，回复出现 TERMINATE 时停止。

上述行为可由论文 Appendix C 与仓库中的 prompt.py、execution.py、main.py 交叉核对。

视觉中间产物

模型并不直接“想象”这些中间图，而是决定何时调用工具，工具生成可视化结果，模型再读取它们。

工具定义来源：论文 §5.1、Appendix C 与官方仓库 tools.py。代码层默认值比正文更具体。

Bounding box 与 mask 到底由谁生成

因此“模型生成 bounding box”需要精确表述为：模型通过代码调用检测器来获得 box，并把 box 可视化后用于继续推理。它通常不直接从语言 token 回归坐标。prompt 甚至明确提醒模型不擅长定位坐标，并要求把检测结果当作参考而非 ground truth。Appendix C

训练与推理设置

训练

论文事实没有训练阶段。论文明确写明框架不需要 fine-tuning 或 training，直接提示现成多模态模型进行 sketching。因此不存在训练数据规模、optimizer、learning rate、batch size、epoch、checkpoint 或训练 GPU 配置。

推理

数据构造与 benchmark

论文没有构建新的训练集，因为系统不训练。实验数据来自现有 benchmark，并将每个实例预处理为独立任务文件夹。部分完整任务数据和所有论文运行轨迹通过项目仓库及外部云盘提供。代码与数据说明

实验、baseline、指标与结果

所有主任务的指标都是 accuracy，主表没有报告置信区间。数学与图算法对比无 Sketchpad 的 GPT-4 Turbo、GPT-4o，以及 Gemini-Pro、Claude 3 Opus、Mixtral 8×7B、LLaMA-2-70B。视觉任务还对比 GPT-4V-preview、LLaVA、Gemini、Claude 及此前 SOTA。单图任务进一步对照 SoM、SoM + original image 和改造后的 Visprog。

Table 1：数学、几何、图与棋局

解读增益高度不均匀。最大流和图结构任务受益极大，说明将数组转换成空间结构特别有效。但 GPT-4 Turbo 的 parity 下降 9.0 点，直接反驳“视觉化总能帮助”的强版本主张。论文正文说“most tasks”，比摘要中较宽泛的“all tasks”更准确。论文 Table 1

Table 2：复杂视觉推理

论文事实GPT-4o + Sketchpad 在当时报告的七项任务均达到新 SOTA。对 BLINK 五项任务，平均绝对增益为 GPT-4 Turbo 6.6 点、GPT-4o 9.0 点。论文 Table 2

Table 3：框架级对照

解读Sketchpad 是唯一在这四项单图任务上对两个基础模型都保持一致提升的框架。SoM 在 Spatial 很强，但会在其他任务干扰模型。Visprog 的固定程序组合容易累积视觉模块错误。这里更支持“自适应选择和观察工具”而非“任何视觉标注都有效”。

消融与诊断

• 工具使用统计，Figure 4：V* 主要使用 detection、sliding window 与 zoom；Depth 主要调用深度估计；Spatial 主要使用 detection 与 segmentation。GPT-4o 总体调用工具更频繁。Semantic Correspondence 中 GPT-4o 使用 segmentation 的实例约 40%，而 GPT-4 Turbo 使用 detection 少于 20%，且很少用 segmentation。
• 人类计划验证：几何题上，人类与 GPT-4o 画相同辅助线的比例为 80%。视觉任务抽取每项 10 题，由 2 名受试者判断完整计划，92.8% 被评为有效。多数错误归因于视觉专家失败或简单 VQA 错误，而非计划本身。
• Oracle Sketchpad，Table 4：把 GPT-4o 最后一次 action 产生的视觉产物直接喂给 LLaVA-NeXT。LLaVA-NeXT-13B 的 Geometry 从 11.1 到 22.2，Winner ID 从 5.8 到 36.7；LLaVA-NeXT-34B 的 Maxflow 从 0.8 到 14.1，Convexity 从 81.6 到 87.1。这说明产物对别的模型也可能有价值，但不是开放模型自主规划能力的证明。

关键 Figure 与 Table 解读

复现细节与可复现性

官方仓库公开 agent、tasks、vision_experts、示例 outputs 与轨迹查看 notebook，许可证为 Apache-2.0。数学与几何任务只需 API、AutoGen、Jupyter 及绘图库。视觉任务还需 Semantic-SAM、Grounding DINO、Depth Anything，并通过 Gradio server 暴露。官方代码仓库

推理成本

这些是论文发表时基于 GPT-4o 的成本，不代表当前 API 价格。Table 7 未列 Geometry、Graph Maxflow 和 Winner ID。

局限、失败模式与 reviewer 式锐评

Reviewer 式评价

综合判断这是一篇强“范式展示”论文，而不是完整的学习算法论文。它证明了动态视觉上下文可提升推理，却没有证明当前工具集、计划策略或中间表示接近最优。

与程序化材质、Context Optimization、Agent 的关系

Visual Sketchpad 与程序化材质生成没有直接实验关系。下面均为迁移分析和研究建议，不应写成原论文贡献。

统一研究框架

多尺度材质视觉上下文

哪些视觉产物最值得迁移

1. mask + marks：把材质中的语义或结构区域离散成可引用对象，例如水泥基底、骨料、裂缝、污渍。marks 让模型能在文本轨迹中稳定指向某一区域。
2. multi-scale crops：分别提供整体周期、中尺度 motif 和微表面统计，减少单一缩放下的尺度混淆。
3. lines 与 orientation field：用于木纹、拉丝金属、纤维、划痕和层理的主方向表达。
4. frequency sketch：增加频谱图、带通分解或局部自相关图，帮助匹配 procedural noise 的频率和 octave。
5. render overlays：把参考图、当前渲染、差异热图和边缘图组合，使 Agent 能定位结构错误与参数错误。

对当前课题的具体实验议程

最有发表价值的问题不是“加几个视觉工具是否更好”，而是研究哪一种 context representation 能让材质 Agent 更高效、更可靠地搜索程序化材质图。

可检验假设

最小可发表实验矩阵

评价指标

研究建议需要把最终图像相似度与图结构质量同时评估。仅优化像素或 CLIP 相似度可能得到视觉相近但不可编辑、不可泛化或依赖 bitmap 的伪程序化解。

必须补上的 Visual Sketchpad 缺失实验

• 逐工具消融：mask、crop、frequency、orientation、channel estimate、difference map。
• 固定预算：统一最大工具次数、render 次数、token 和时间，比较静态与动态上下文。
• 错误注入：人为制造错 mask、错尺度和错渲染，测量 Agent 的发现率、恢复率与额外成本。
• 跨材质类别泛化：规则纹理、随机颗粒、分层结构、有方向纹理、非平稳污渍分别报告。
• 结构与参数分离：先评估节点拓扑，再评估参数搜索，避免最终 render 指标掩盖图结构错误。

References

1. Hu, Y. et al. Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models. arXiv:2406.09403v3, 2024.
2. Hu, Y. et al. Visual Sketchpad full paper and appendices. 32 pages, version dated 2024-11-11.
3. Visual Sketchpad authors. Official project page. Project overview, examples and headline results.
4. Yushi-Hu. VisualSketchpad official repository. Agent, tasks, outputs, vision experts and Apache-2.0 license.
5. VisualSketchpad repository. agent/config.py. Model configuration, temperature, maximum replies and service addresses.
6. VisualSketchpad repository. agent/prompt.py. Tool documentation, in-context examples and task prompts.
7. VisualSketchpad repository. agent/execution.py. Local Jupyter execution and image result processing.
8. VisualSketchpad repository. agent/tools.py. Detection, segmentation, depth, crop, sliding window and overlay implementations.
9. VisualSketchpad repository. vision_experts/installation.md. Semantic-SAM, Grounding DINO and Depth Anything installation.
10. Kirillov, A. et al. Segment Anything. ICCV 2023.
11. Li, F. et al. Semantic-SAM: Segment and Recognize Anything at Any Granularity. 2023.
12. Liu, S. et al. Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection. 2023.
13. Yang, L. et al. Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data. CVPR 2024.
14. Yang, J. et al. Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V. 2023.
15. Fu, X. et al. BLINK: Multimodal Large Language Models Can See but Not Perceive. 2024.
16. Wu, P. and Xie, S. V*: Guided Visual Search as a Core Mechanism in Multimodal LLMs. 2023.
17. Yao, S. et al. ReAct: Synergizing Reasoning and Acting in Language Models. 2022.
18. Wu, Q. et al. AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. 2023.