感知流网络：面向视觉接地推理
Perceptual Flow Network for Visually Grounded Reasoning

Yangfu Li, Yuning Gong, Hongjian Zhan, Teng Li, Yuanhuiyi Lyu, 等 (+6)


• 本文提出感知流网络（PFN），旨在克服现有视觉语言模型在处理复杂视觉推理任务时面临的挑战和局限性。
• PFN的核心创新在于将视觉信息中的感知与高级推理过程有效解耦，从而实现更清晰、更结构化的信息处理。
• 该模型采用先进的变分强化学习范式进行训练，使其能够灵活学习并优化推理策略，以适应不同的视觉场景。
• 为进一步提升推理的准确性和鲁棒性，网络引入了多维度奖励机制，显著增强了其视觉接地推理能力。

🔗 arXiv · 🤗 HF

#视觉推理 #强化学习 #感知推理 #视觉语言模型 #解耦学习

MolmoAct2：面向真实世界部署的机器人动作推理模型
MolmoAct2: Action Reasoning Models for Real-world Deployment

Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, 等 (+24)
⭐ 13

• MolmoAct2提出了一个用于机器人的开放式动作推理模型，旨在显著超越现有系统。
• 它通过采用专门的视觉-语言模型骨干网络、构建新的数据集以及开发开放权重的动作分词器来增强模型性能。
• 该模型对架构进行了重新设计，以支持连续动作预测，从而提升了在复杂真实世界任务中的精确性。
• MolmoAct2还引入了自适应推理机制，有效降低了系统延迟，使其更适合实际部署应用。

🔗 arXiv · 🤗 HF

#机器人 #动作推理 #视觉语言模型 #实际部署 #连续控制

持续视觉记忆：维持大型视觉语言模型深度生成中的感知
Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs

Siyuan Huang, Xiaoye Qu, Yafu Li, Tong Zhu, Zefeng He, 等 (+4)
⭐ 11

• 大型视觉语言模型（LVLMs）在生成长序列时，常常面临视觉信号稀释的问题，导致模型难以有效维持对视觉信息的关注。
• 为解决此问题，本文引入了一个轻量级的持续视觉记忆模块，该模块旨在增强模型在长时间生成过程中的视觉感知能力。
• 该模块的核心机制在于能够有效维持模型对视觉输入的注意力，从而避免视觉信息在长序列生成中被逐步淡化。
• 通过集成此模块，实验结果证明模型的视觉推理性能得到了显著提升，尤其是在需要持续感知力的复杂任务中表现更优。

🔗 arXiv · 🤗 HF

#大视觉语言模型 #视觉记忆 #注意力机制 #长序列生成 #推理

迭代检索增强生成的像素级视觉归因：证据链框架
Chain of Evidence: Pixel-Level Visual Attribution for Iterative Retrieval-Augmented Generation
arXiv · HF
#多模态 #检索增强生成 #多跳推理 #可解释性 #视觉定位 #归因