感知流网络：面向视觉接地推理
Perceptual Flow Network for Visually Grounded Reasoning

Yangfu Li, Yuning Gong, Hongjian Zhan, Teng Li, Yuanhuiyi Lyu, 等 (+6)


• 本文提出感知流网络（PFN），旨在克服现有视觉语言模型在处理复杂视觉推理任务时面临的挑战和局限性。
• PFN的核心创新在于将视觉信息中的感知与高级推理过程有效解耦，从而实现更清晰、更结构化的信息处理。
• 该模型采用先进的变分强化学习范式进行训练，使其能够灵活学习并优化推理策略，以适应不同的视觉场景。
• 为进一步提升推理的准确性和鲁棒性，网络引入了多维度奖励机制，显著增强了其视觉接地推理能力。

🔗 arXiv · 🤗 HF

#视觉推理 #强化学习 #感知推理 #视觉语言模型 #解耦学习

持续视觉记忆：维持大型视觉语言模型深度生成中的感知
Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs

Siyuan Huang, Xiaoye Qu, Yafu Li, Tong Zhu, Zefeng He, 等 (+4)
⭐ 11

• 大型视觉语言模型（LVLMs）在生成长序列时，常常面临视觉信号稀释的问题，导致模型难以有效维持对视觉信息的关注。
• 为解决此问题，本文引入了一个轻量级的持续视觉记忆模块，该模块旨在增强模型在长时间生成过程中的视觉感知能力。
• 该模块的核心机制在于能够有效维持模型对视觉输入的注意力，从而避免视觉信息在长序列生成中被逐步淡化。
• 通过集成此模块，实验结果证明模型的视觉推理性能得到了显著提升，尤其是在需要持续感知力的复杂任务中表现更优。

🔗 arXiv · 🤗 HF

#大视觉语言模型 #视觉记忆 #注意力机制 #长序列生成 #推理

游戏引擎合成数据集缩小Sim2Real视觉差异的混合方法
A Hybrid Approach for Closing the Sim2real Appearance Gap in Game Engine Synthetic Datasets
arXiv · HF
#领域适应 #扩散模型 #图像翻译 #视觉感知 #合成数据

RLDX-1：面向真实世界灵巧操作的多功能视觉语言动作模型
RLDX-1 Technical Report
⭐ 44 · arXiv · HF
#机器人操作 #多模态感知 #动作生成 #强化学习 #视觉语言模型