GUI 智能体正在从"看截图点按钮"进化成"开着摄像头、听着麦克风、读着屏幕"的全模态操作者。但输入通道越多,麻烦也越多:决定下一步点击的可能只是当前这一帧截图,而上一段音频早就过期了。南洋理工大学与阿里巴巴团队 10 月 19 日提交至 arXiv 的 FocusGUI 给出了一个轻量解法,并冲上 Hugging Face 论文日榜第一,拿到 181 个赞。
问题:分心是会复利的
论文把痛点命名为 Sequential Distraction(序列性分心):每一步都把全部模态证据均匀喂给模型,无关信号就成了下一步的噪音;更糟的是,执行过的动作会回灌进上下文,错误逐步复利,最终把整条轨迹带偏到不可逆。作者由此提出 Focused Perception 三原则——步级自适应、动作充分、非侵入。
解法:只训一个适配器
FocusGUI 的做法是给冻结的底座外挂一个轻量 adapter,流程分四步:通道分解(从当前观测拆出互补证据)、步级自适应优先级(对照当前决策参考给各模态通道加权)、紧凑聚焦(把加权证据压进低维隐向量)、残差对齐(在动作生成边界注入零初始化的残差)。主干、Transformer 解码器和原 LM head 全部冻结,动作以结构化 JSON 自回归生成。训练只用动作标注,既不需要模态相关性标签,也不用微调底座。
效果:四个底座平均涨 33.2
在 Qwen2.5-Omni-7B、MiniCPM-o-4.5、VITA-1.5、Baichuan-Omni-1.5 四个全模态底座上,论文报告平均 Type Match 提升 +33.2、Exact Match 达到冻结底座的 3.0 倍;对比现有最强增强方法,Type Match 也高出 +30.1。训练与评测基于 OmniGUI 数据集,官方代码已在 GitHub 开源,四个底座的适配器训练脚本全部放出。
所以呢
这波 agent 热潮的默认直觉是"上下文越多越好",FocusGUI 反着来:相关性是瞬态的,步级筛选比全量堆料更重要。对工程团队的直接启示是——没有预算全参微调全模态大模型时,冻结主干 + 外挂适配器 + 纯动作监督,是一条成本可控的路径。GUI 智能体距离可靠的日常助手,差的也许不是更大的模型,而是更干净的注意力。