这次提升来自复旦和创智联合推出的 RSAgent 智能体框架，核心思路就是改掉传统模型一次性直接输出分割掩码的模式，改成大模型边观察图像、边调用分割工具、边看结果边纠错迭代，所以视觉分割准确率直接上涨 9 个百分点。传统的文本引导分割基本都是单轮前向推理，遇到物体遮挡、语义模糊、需要复杂推理定位的画面，很容易框错区域、漏像素，就算换更强的分割模型，这种一次性输出的缺陷也很难根治；RSAgent 的解决办法就是搭一个多轮调用的智能体流程，大模型先看懂图片和文字指令，生成初始分割，再自己检查掩码哪里不对，反复调整、验证，直到满足要求，整套流程不需要人工实时介入，是模型自主闭环修正。整套操作流程分为接收图文指令、生成初始掩码、自检评估、修正掩码、循环校验、输出最终结果，在 ReasonSeg 测试集上 gIoU 从 57.5% 提升到 66.5%，对比 Seg-Zero-7B 正好涨 9%，在 RefCOCOg 数据集也拿到 81.5% 的 cIoU，这套方案也证明，给大模型加上 “边看边改” 的自主纠错能力，比单纯堆模型参数对分割效果提升更明显。
一、RSAgent “边看边改” 核心运行流程
- 接收输入：图片 + 自然语言描述指令，明确要分割的目标物体
- 初次推理：多模态大模型理解语义，调用分割工具生成第一版掩码
- 自查校验：大模型对照原图和指令，评估当前掩码的错误位置
- 迭代修正：根据自查结果，调整分割策略，重新调用工具修改掩码
- 终止判断：达到合格标准或者达到最大轮数限制，停止迭代，输出结果
- 沉淀轨迹：自动保存多轮推理、修改记录，用来后续训练优化
二、新旧方案对比表
| 方案类型 | 运行方式 | 短板 | 优势 |
|---|---|---|---|
| 传统单轮分割 | 一次推理直接输出掩码 | 遮挡、复杂语义容易出错，没有自检环节 | 速度快，算力开销低 |
| RSAgent 边看边改分割 | 多轮循环，自主查看、自主修改掩码 | 推理轮数更多，耗时、算力更高 | 复杂场景准确率上涨 9%，容错更强 |
三、适合落地的应用场景清单
- 工业质检：识别产品缺陷区域，缺陷形态不固定时反复修正分割框
- 机器人视觉：识别环境目标，物体被遮挡时持续调整目标掩码
- 图像标注：辅助半自动标注，减少人工手动修正掩码的工作量
- 科研图像分析：医学影像、显微图像里精细目标分割
- AIGC 图像编辑：根据文字定位画面里指定区域，做局部修改
四、目前这套方案存在的局限
- 迭代轮数越多，推理耗时明显变长，实时性要求高的场景不好用
- 简单清晰的图片，单轮分割本身就很准，“边看边改” 带来的收益很小
- 极端复杂歧义指令，模型自检也会判断失误，出现越改越错的情况
- 需要配套分割工具一起联动，单独的大模型没法直接完成分割任务
【相关 FAQ】
问题 1：大模型边看边改，视觉分割准确率上涨 9%，是在哪个数据集测出的结果？
回答 1：大模型边看边改带来视觉分割准确率上涨 9%，是在 ReasonSeg 测试集上测得，对比基线 Seg-Zero-7B，gIoU 提升 9 个百分点。
问题 2：RSAgent 实现大模型边看边改做视觉分割，需要重新训练分割底层模型吗？
回答 2：RSAgent 是智能体调度框架，实现大模型边看边改视觉分割，主要是训练调度、自检、纠错的推理策略，不需要从头重做基础分割模型。
问题 3：大模型边看边改做视觉分割，是不是所有图片分割任务都能稳定涨 9% 准确率？
回答 3：不是，大模型边看边改带来视觉分割上涨 9% 是复杂推理分割数据集的结果，简单无遮挡的常规图片，提升幅度会小很多。
问题 4：RSAgent 大模型边看边改的视觉分割方案，有没有入选学术会议？
回答 4：RSAgent 这套大模型边看边改的视觉分割方案，已经入选 ICML 2026。
【参考资料】
[2026-05-27]（让大模型 “边看边改”，视觉分割准确率直接上涨 9%）36 氪
[2026-05-01]（RSAgent: Learning to Reason and Act via Multi-Turn Tool Invocations for Text-Guided Segmentation）OpenReview
[2026-05-27]（让大模型 “边看边改”，视觉分割准确率直接上涨 9%）今日头条（36 氪官方）
【免责声明】
本文内容仅为公开学术研究成果整理，大模型边看边改提升视觉分割 9% 为特定数据集下的实验指标，不代表所有业务场景都能达到同等提升效果；该技术仍处于研究阶段，落地效果受图片质量、指令清晰度、算力限制影响；文中指标、框架信息来自公开论文与媒体报道，不构成商用落地保证。