AutoGUI-v2：多模态GUI功能理解的综合基准
AutoGUI-v2: A Comprehensive Multi-Modal GUI Functionality Understanding Benchmark

Hongxin Li, Xiping Wang, Jingran Su, Zheng Ju, Yuntao Chen, 等 (+2)
⭐ 2

• AutoGUI-v2是一个全新的综合性基准测试，旨在全面评估自主代理的能力。
• 该基准着重衡量代理对图形用户界面（GUI）的深层功能理解，即识别和解析界面元素及其潜在用途。
• 它还致力于测试代理预测用户在GUI上进行交互操作的准确性和鲁棒性。
• AutoGUI-v2支持在多个不同的操作系统和应用平台上进行评估，确保其测试结果的广泛适用性。

🔗 arXiv · 🤗 HF

#多模态 #GUI理解 #交互预测 #自主代理 #基准

扩散模型何时学会生成多物体？基于受控数据的组合泛化诊断
When Do Diffusion Models learn to Generate Multiple Objects?
⭐ 2 · arXiv · HF
#扩散模型 #图像生成 #组合泛化 #多模态 #基准评测

PhysicianBench：大模型智能体真实电子病历环境性能评估
PhysicianBench: Evaluating LLM Agents in Real-World EHR Environments

Ruoqi Liu, Imran Q. Mohiuddin, Austin J. Schoeffler, Kavita Renduchintala, Ashwin Nayak, 等 (+8)
⭐ 1

• 本文介绍PhysicianBench，一个专门用于评估大语言模型智能体在真实临床任务中的性能基准。
• 该基准着重于在电子健康记录（EHR）环境下，执行需要复杂、多步骤工作流的实际医疗任务。
• 通过PhysicianBench进行的严格评估，揭示了当前大语言模型智能体在处理真实世界医疗场景方面存在显著的能力缺陷。
• 这表明现有智能体在应用于临床实践前，仍需在理解复杂指令和执行连续操作上进行深入改进。

🔗 arXiv · 🤗 HF

#大语言模型 #智能体 #电子健康记录 #医疗AI #性能评估 #基准测试

AcademiClaw：学生为AI智能体设计的复杂学术挑战基准
AcademiClaw: When Students Set Challenges for AI Agents

Junjie Yu, Pengrui Lu, Weiye Si, Hongliang Lu, Jiabao Wu, 等 (+73)


『• 』AcademiClaw是一个由本研究提出的创新性综合基准测试平台，专注于评估人工智能智能体在模拟真实学术场景下的表现。
『• 』该平台的核心特点是其任务内容由学生亲自设计，涵盖了跨多个学术领域的复杂挑战，旨在更贴近实际应用中的AI能力需求。
『• 』通过让AI智能体面对诸如论文理解、问题解决和知识综合等高阶学术任务，AcademiClaw提供了一种严谨的评估框架。
『• 』初步评估结果显示，尽管当前AI模型已取得显著进展，但在处理这些由人类学生精心构建的复杂学术任务时，仍暴露出明显的能力局限性和性能差距。
『• 』本基准为识别现有AI智能体的弱点、推动其向更高级认知能力发展，以及弥合与人类智能在学术领域上的差距，提供了关键的研究工具和发展方向。

🔗 arXiv · 🤗 HF

#人工智能 #智能体 #基准测试 #能力评估 #学术任务 #领域泛化

计数作为大语言模型可靠性的最小化探针
Counting as a minimal probe of language model reliability
⭐ 1 · arXiv · HF
#大语言模型 #可靠性评估 #机制可解释 #状态追踪 #长上下文 #基准测试

HIL-BENCH：评估智能体何时寻求人类帮助的基准测试
HiL-Bench (Human-in-Loop Benchmark): Do Agents Know When to Ask for Help?
⭐ 1 · arXiv · HF
#智能体 #基准测试 #人机协作 #强化学习 #软件工程 #代码生成

WindowsWorld：跨应用职业环境下GUI智能体过程导向评测基准
WindowsWorld: A Process-Centric Benchmark of Autonomous GUI Agents in Professional Cross-Application Environments
⭐ 2 · arXiv · HF
#GUI智能体 #基准测试 #过程评估 #多模态模型 #跨应用交互