《Single-Turn Agent for Empowering GUI Automation》
赋能GUI自动化的单轮代理

摘要

我们介绍了一个用于图形用户界面（GUI）交互任务的单轮代理，使用了视觉语言模型Florence-2-Base。该代理的主要任务是识别与用户指令相对应的UI元素的屏幕坐标。

它在Screenspot和OmniAct上表现出强大的性能，同时保持了0.27B参数的紧凑规模和最低的延迟。

相关的改进来自于多任务训练和基于MLLM的数据增强。手动注释的语料库很少，但我们表明，MLLM增强可能产生更好的结果。

在Screenspot和OmniAct平台上，我们的模型超过了专门针对GUI的模型（如SeeClick）和大模型（如GPT-4V）。

模型：hugging-face.co/Samsung/TinyClick.

图

下游任务的示例命令。TinyClick 接收屏幕截图和用户指令，然后预测 UI 元素的边界框和动作。

训练情况

模型开源： hugging-face.co/Samsung/TinyClick
Florence2：一个定位和检测模型、通过同时使用带注释的图像和自然语言解释，允许适应跨领域。

训练方式

多任务训练

任务类别和目的

我们使用了公开可用的语料库来训练单轮对话智能体，这些语料库主要包含命令和位置（边界框）。
为了准备训练数据，我们使用了现有的MLLM注解或软件元数据，并且也使用我们自己的MLLM管道对数据进行了重新注解。
元素的描述、期望、位置和用途主要基于MLLM注解，而对象检测则使用了Android XML UI元数据。
实验验证了我们的方法的有效性，用更小、更快的模型超越了当前的基线。

任务名称

1.Element captioning
根据屏幕上的位置生成UI元素的描述、目的或操作预期。

2.Element location
根据视觉描述定位UI元素

3.Object detection
检测所有可点击的UI元素

4.Agent action
根据用户指令（command）定位要点击的UI元素或要点击的位置。

5.QA
根据屏幕内容QA

训练数据集

1.WaveUI
2.AMEX
3.Mind2Web
4.GUI Odyssey（not in train）
5.GUI Course
6.AndroidControl
7.ScreenQA
8.WebUI（not use）
9.OmniAct（validation set）

MLLM注解模型标注的方式

InternVL2-26B 标注数据 GUI Course的例子：

你的任务是生成一个预期 expectation ——与红色方框中的UI元素交互后会发生什么。

也就是说

输入是 image、prompt、 包含command和action的input json
输出是 output json

训练任务示例

同一个UI元素 可以 有多个不同的任务，类似 grounding和widget caption的意思