在线自校准：抑制视觉语言模型中的幻觉
Online Self-Calibration Against Hallucination in Vision-Language Models

Minghui Chen, Chenxu Yang, Hengjie Zhu, Dayan Wu, Zheng Lin, 等 (+1)
⭐ 1

• 本文提出一种在线自校准框架，旨在通过有效抑制幻觉来显著提升视觉语言模型的准确性。
• 该框架的核心在于融合了蒙特卡洛树搜索（MCTS）与一种新颖的双粒度奖励机制，以进行高效的探索和反馈。
• 具体而言，通过动态构建偏好数据，并结合直接偏好优化（DPO）策略，模型能够在线学习和纠正其潜在的幻觉倾向。
• 这种方法使得视觉语言模型能够更好地理解和生成与视觉输入一致的准确描述，从而在实际应用中展现出更高的可靠性和性能。

🔗 arXiv · 🤗 HF

#视觉语言模型 #幻觉抑制 #在线学习 #自校准 #蒙特卡洛树搜索 #偏好优化