何恺明团队发布多模态Harness框架VISTA

近日，何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中，提出了一套名为VISTA的视觉原生Harness框架。该框架允许现有的多模态模型直接观察环境、保存原始画面，并在推理时随时回看、放大和检查细节，无需从头训练。与传统的将环境抽象成文字或代码的做法不同，VISTA保留了原始的视觉信息，使得模型可以根据当前问题，将过去看过的画面重新调入上下文，参与当前的判断与推理。在评测中，搭配VISTA的Claude Opus 5.0完成了ARC-AGI-3全部25个公开游戏，得分达到满分100，所用游戏动作数比首次游玩的人类基线少57.4%。此外，团队还在浏览器游戏、迷宫和连线题中验证了这套方法，并将更接近物理世界的具身任务列为后续研究方向。VISTA框架的研究，是何恺明团队在视觉感知与表征学习领域的一次新尝试，旨在让模型在持续交互中积累、保存并利用视觉经验。

来源：量子位

> 本文基于公开报道整理编辑，版权归原作者所有。如有异议请联系我们，查实后立即删除。