PhysicianBench：大模型智能体真实电子病历环境性能评估
PhysicianBench: Evaluating LLM Agents in Real-World EHR Environments

Ruoqi Liu, Imran Q. Mohiuddin, Austin J. Schoeffler, Kavita Renduchintala, Ashwin Nayak, 等 (+8)
⭐ 1

• 本文介绍PhysicianBench，一个专门用于评估大语言模型智能体在真实临床任务中的性能基准。
• 该基准着重于在电子健康记录（EHR）环境下，执行需要复杂、多步骤工作流的实际医疗任务。
• 通过PhysicianBench进行的严格评估，揭示了当前大语言模型智能体在处理真实世界医疗场景方面存在显著的能力缺陷。
• 这表明现有智能体在应用于临床实践前，仍需在理解复杂指令和执行连续操作上进行深入改进。

🔗 arXiv · 🤗 HF

#大语言模型 #智能体 #电子健康记录 #医疗AI #性能评估 #基准测试