GoClick：轻量级GUI自主交互元素定位模型
GoClick: Lightweight Element Grounding Model for Autonomous GUI Interaction

Hongxin Li, Yuntao Chen, Zhaoxiang Zhang
⭐ 4

• 本文提出GoClick，一个专为移动设备GUI元素定位设计的轻量级视觉语言模型。
• 该模型仅有2.3亿参数，却能实现高精度，有效解决了轻量化与性能之间的平衡。
• GoClick采用编码器-解码器架构，并结合渐进式数据精炼技术进行训练，确保了高效与准确性。
• 旨在支持移动端图形用户界面的自主交互，极大地提升了自动化操作和用户体验。

🔗 arXiv · 🤗 HF

#GUI交互 #元素定位 #视觉语言 #轻量级模型 #自主交互 #移动应用

AutoGUI-v2：多模态GUI功能理解的综合基准
AutoGUI-v2: A Comprehensive Multi-Modal GUI Functionality Understanding Benchmark

Hongxin Li, Xiping Wang, Jingran Su, Zheng Ju, Yuntao Chen, 等 (+2)
⭐ 2

• AutoGUI-v2是一个全新的综合性基准测试，旨在全面评估自主代理的能力。
• 该基准着重衡量代理对图形用户界面（GUI）的深层功能理解，即识别和解析界面元素及其潜在用途。
• 它还致力于测试代理预测用户在GUI上进行交互操作的准确性和鲁棒性。
• AutoGUI-v2支持在多个不同的操作系统和应用平台上进行评估，确保其测试结果的广泛适用性。

🔗 arXiv · 🤗 HF

#多模态 #GUI理解 #交互预测 #自主代理 #基准

WindowsWorld：跨应用职业环境下GUI智能体过程导向评测基准
WindowsWorld: A Process-Centric Benchmark of Autonomous GUI Agents in Professional Cross-Application Environments
⭐ 2 · arXiv · HF
#GUI智能体 #基准测试 #过程评估 #多模态模型 #跨应用交互