PhysicianBench：大模型智能体真实电子病历环境性能评估
PhysicianBench: Evaluating LLM Agents in Real-World EHR Environments

Ruoqi Liu, Imran Q. Mohiuddin, Austin J. Schoeffler, Kavita Renduchintala, Ashwin Nayak, 等 (+8)
⭐ 1

• 本文介绍PhysicianBench，一个专门用于评估大语言模型智能体在真实临床任务中的性能基准。
• 该基准着重于在电子健康记录（EHR）环境下，执行需要复杂、多步骤工作流的实际医疗任务。
• 通过PhysicianBench进行的严格评估，揭示了当前大语言模型智能体在处理真实世界医疗场景方面存在显著的能力缺陷。
• 这表明现有智能体在应用于临床实践前，仍需在理解复杂指令和执行连续操作上进行深入改进。

🔗 arXiv · 🤗 HF

#大语言模型 #智能体 #电子健康记录 #医疗AI #性能评估 #基准测试

AcademiClaw：学生为AI智能体设计的复杂学术挑战基准
AcademiClaw: When Students Set Challenges for AI Agents

Junjie Yu, Pengrui Lu, Weiye Si, Hongliang Lu, Jiabao Wu, 等 (+73)


『• 』AcademiClaw是一个由本研究提出的创新性综合基准测试平台，专注于评估人工智能智能体在模拟真实学术场景下的表现。
『• 』该平台的核心特点是其任务内容由学生亲自设计，涵盖了跨多个学术领域的复杂挑战，旨在更贴近实际应用中的AI能力需求。
『• 』通过让AI智能体面对诸如论文理解、问题解决和知识综合等高阶学术任务，AcademiClaw提供了一种严谨的评估框架。
『• 』初步评估结果显示，尽管当前AI模型已取得显著进展，但在处理这些由人类学生精心构建的复杂学术任务时，仍暴露出明显的能力局限性和性能差距。
『• 』本基准为识别现有AI智能体的弱点、推动其向更高级认知能力发展，以及弥合与人类智能在学术领域上的差距，提供了关键的研究工具和发展方向。

🔗 arXiv · 🤗 HF

#人工智能 #智能体 #基准测试 #能力评估 #学术任务 #领域泛化