GoClick：轻量级GUI自主交互元素定位模型
GoClick: Lightweight Element Grounding Model for Autonomous GUI Interaction
Hongxin Li, Yuntao Chen, Zhaoxiang Zhang
⭐ 4
• 本文提出GoClick，一个专为移动设备GUI元素定位设计的轻量级视觉语言模型。
• 该模型仅有2.3亿参数，却能实现高精度，有效解决了轻量化与性能之间的平衡。
• GoClick采用编码器-解码器架构，并结合渐进式数据精炼技术进行训练，确保了高效与准确性。
• 旨在支持移动端图形用户界面的自主交互，极大地提升了自动化操作和用户体验。
🔗 arXiv · 🤗 HF
#GUI交互 #元素定位 #视觉语言 #轻量级模型 #自主交互 #移动应用
GoClick: Lightweight Element Grounding Model for Autonomous GUI Interaction
Hongxin Li, Yuntao Chen, Zhaoxiang Zhang
⭐ 4
• 本文提出GoClick，一个专为移动设备GUI元素定位设计的轻量级视觉语言模型。
• 该模型仅有2.3亿参数，却能实现高精度，有效解决了轻量化与性能之间的平衡。
• GoClick采用编码器-解码器架构，并结合渐进式数据精炼技术进行训练，确保了高效与准确性。
• 旨在支持移动端图形用户界面的自主交互，极大地提升了自动化操作和用户体验。
🔗 arXiv · 🤗 HF
#GUI交互 #元素定位 #视觉语言 #轻量级模型 #自主交互 #移动应用
在线自校准：抑制视觉语言模型中的幻觉
Online Self-Calibration Against Hallucination in Vision-Language Models
Minghui Chen, Chenxu Yang, Hengjie Zhu, Dayan Wu, Zheng Lin, 等 (+1)
⭐ 1
• 本文提出一种在线自校准框架，旨在通过有效抑制幻觉来显著提升视觉语言模型的准确性。
• 该框架的核心在于融合了蒙特卡洛树搜索（MCTS）与一种新颖的双粒度奖励机制，以进行高效的探索和反馈。
• 具体而言，通过动态构建偏好数据，并结合直接偏好优化（DPO）策略，模型能够在线学习和纠正其潜在的幻觉倾向。
• 这种方法使得视觉语言模型能够更好地理解和生成与视觉输入一致的准确描述，从而在实际应用中展现出更高的可靠性和性能。
🔗 arXiv · 🤗 HF
#视觉语言模型 #幻觉抑制 #在线学习 #自校准 #蒙特卡洛树搜索 #偏好优化
Online Self-Calibration Against Hallucination in Vision-Language Models
Minghui Chen, Chenxu Yang, Hengjie Zhu, Dayan Wu, Zheng Lin, 等 (+1)
⭐ 1
• 本文提出一种在线自校准框架，旨在通过有效抑制幻觉来显著提升视觉语言模型的准确性。
• 该框架的核心在于融合了蒙特卡洛树搜索（MCTS）与一种新颖的双粒度奖励机制，以进行高效的探索和反馈。
• 具体而言，通过动态构建偏好数据，并结合直接偏好优化（DPO）策略，模型能够在线学习和纠正其潜在的幻觉倾向。
• 这种方法使得视觉语言模型能够更好地理解和生成与视觉输入一致的准确描述，从而在实际应用中展现出更高的可靠性和性能。
🔗 arXiv · 🤗 HF
#视觉语言模型 #幻觉抑制 #在线学习 #自校准 #蒙特卡洛树搜索 #偏好优化
模拟检索器：用于模拟电路检索的跨模态表示学习
AnalogRetriever: Learning Cross-Modal Representations for Analog Circuit Retrieval
Yihan Wang, Lei Li, Yao Lai, Jing Wang, Yan Lu
⭐ 1
• AnalogRetriever是一个统一的三模态检索框架，旨在通过整合多种数据形式来增强模拟电路设计。
• 该框架能够将电路原理图、文本描述和网表结构编码到一个共享的嵌入空间中，实现高效的跨模态检索。
• 它利用视觉语言模型处理图像和文本数据，并结合图卷积网络来理解网表等结构化信息。
• 通过这种方式，AnalogRetriever为模拟电路的快速检索提供了强大支持，从而加速设计与开发流程。
🔗 arXiv · 🤗 HF
#模拟电路 #跨模态检索 #多模态学习 #图神经网络 #视觉语言模型
AnalogRetriever: Learning Cross-Modal Representations for Analog Circuit Retrieval
Yihan Wang, Lei Li, Yao Lai, Jing Wang, Yan Lu
⭐ 1
• AnalogRetriever是一个统一的三模态检索框架，旨在通过整合多种数据形式来增强模拟电路设计。
• 该框架能够将电路原理图、文本描述和网表结构编码到一个共享的嵌入空间中，实现高效的跨模态检索。
• 它利用视觉语言模型处理图像和文本数据，并结合图卷积网络来理解网表等结构化信息。
• 通过这种方式，AnalogRetriever为模拟电路的快速检索提供了强大支持，从而加速设计与开发流程。
🔗 arXiv · 🤗 HF
#模拟电路 #跨模态检索 #多模态学习 #图神经网络 #视觉语言模型
❤1
Prox-E：基于基元抽象的精细化三维形状编辑
Prox-E: Fine-Grained 3D Shape Editing via Primitive-Based Abstractions
Etai Sella, Hao Phung, Nitay Amiel, Or Litany, Or Patashnik, 等 (+1)
⭐ 6
• 本文提出了一个名为Prox-E的无需训练框架，专注于实现三维形状的精细化编辑，无需模型训练即可直接应用。
• 该框架的核心在于利用几何基元对复杂三维结构进行抽象表示，从而实现对形状的精确控制。
• 结合视觉语言模型的能力，Prox-E能够在编辑过程中理解语义指令，并确保对形状的局部结构进行修改。
• 关键是，在进行这些局部修改的同时，框架能够有效地保持三维物体的原始身份和整体特征，避免不一致性。
🔗 arXiv · 🤗 HF
#三维编辑 #几何基元 #视觉语言模型 #形状抽象 #计算机图形
Prox-E: Fine-Grained 3D Shape Editing via Primitive-Based Abstractions
Etai Sella, Hao Phung, Nitay Amiel, Or Litany, Or Patashnik, 等 (+1)
⭐ 6
• 本文提出了一个名为Prox-E的无需训练框架，专注于实现三维形状的精细化编辑，无需模型训练即可直接应用。
• 该框架的核心在于利用几何基元对复杂三维结构进行抽象表示，从而实现对形状的精确控制。
• 结合视觉语言模型的能力，Prox-E能够在编辑过程中理解语义指令，并确保对形状的局部结构进行修改。
• 关键是，在进行这些局部修改的同时，框架能够有效地保持三维物体的原始身份和整体特征，避免不一致性。
🔗 arXiv · 🤗 HF
#三维编辑 #几何基元 #视觉语言模型 #形状抽象 #计算机图形
Odysseus：强化学习驱动VLM实现百回合游戏长期决策
Odysseus: Scaling VLMs to 100+ Turn Decision-Making in Games via Reinforcement Learning
Chengshuai Shi, Wenzhe Li, Xinran Liang, Yizhou Lu, Wenjia Yang, 等 (+8)
⭐ 2
• 针对VLM在百回合以上长周期游戏决策挑战，本文通过强化学习（RL）训练VLM。
• 提出PPO改进算法，引入轻量评论器，显著提升训练稳定性和样本效率。
• 预训练VLM提供强大动作先验，提高RL效率，减少手动设计。
• 构建Odysseus框架，VLM实现3倍游戏进展，具备良好泛化性，为具身智能体RL提供指导。
🔗 arXiv · 🤗 HF
#视觉语言模型 #强化学习 #长期决策 #游戏AI #具身智能体
Odysseus: Scaling VLMs to 100+ Turn Decision-Making in Games via Reinforcement Learning
Chengshuai Shi, Wenzhe Li, Xinran Liang, Yizhou Lu, Wenjia Yang, 等 (+8)
⭐ 2
• 针对VLM在百回合以上长周期游戏决策挑战，本文通过强化学习（RL）训练VLM。
• 提出PPO改进算法，引入轻量评论器，显著提升训练稳定性和样本效率。
• 预训练VLM提供强大动作先验，提高RL效率，减少手动设计。
• 构建Odysseus框架，VLM实现3倍游戏进展，具备良好泛化性，为具身智能体RL提供指导。
🔗 arXiv · 🤗 HF
#视觉语言模型 #强化学习 #长期决策 #游戏AI #具身智能体
感知流网络：面向视觉接地推理
Perceptual Flow Network for Visually Grounded Reasoning
Yangfu Li, Yuning Gong, Hongjian Zhan, Teng Li, Yuanhuiyi Lyu, 等 (+6)
• 本文提出感知流网络（PFN），旨在克服现有视觉语言模型在处理复杂视觉推理任务时面临的挑战和局限性。
• PFN的核心创新在于将视觉信息中的感知与高级推理过程有效解耦，从而实现更清晰、更结构化的信息处理。
• 该模型采用先进的变分强化学习范式进行训练，使其能够灵活学习并优化推理策略，以适应不同的视觉场景。
• 为进一步提升推理的准确性和鲁棒性，网络引入了多维度奖励机制，显著增强了其视觉接地推理能力。
🔗 arXiv · 🤗 HF
#视觉推理 #强化学习 #感知推理 #视觉语言模型 #解耦学习
Perceptual Flow Network for Visually Grounded Reasoning
Yangfu Li, Yuning Gong, Hongjian Zhan, Teng Li, Yuanhuiyi Lyu, 等 (+6)
• 本文提出感知流网络（PFN），旨在克服现有视觉语言模型在处理复杂视觉推理任务时面临的挑战和局限性。
• PFN的核心创新在于将视觉信息中的感知与高级推理过程有效解耦，从而实现更清晰、更结构化的信息处理。
• 该模型采用先进的变分强化学习范式进行训练，使其能够灵活学习并优化推理策略，以适应不同的视觉场景。
• 为进一步提升推理的准确性和鲁棒性，网络引入了多维度奖励机制，显著增强了其视觉接地推理能力。
🔗 arXiv · 🤗 HF
#视觉推理 #强化学习 #感知推理 #视觉语言模型 #解耦学习
MolmoAct2：面向真实世界部署的机器人动作推理模型
MolmoAct2: Action Reasoning Models for Real-world Deployment
Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, 等 (+24)
⭐ 13
• MolmoAct2提出了一个用于机器人的开放式动作推理模型，旨在显著超越现有系统。
• 它通过采用专门的视觉-语言模型骨干网络、构建新的数据集以及开发开放权重的动作分词器来增强模型性能。
• 该模型对架构进行了重新设计，以支持连续动作预测，从而提升了在复杂真实世界任务中的精确性。
• MolmoAct2还引入了自适应推理机制，有效降低了系统延迟，使其更适合实际部署应用。
🔗 arXiv · 🤗 HF
#机器人 #动作推理 #视觉语言模型 #实际部署 #连续控制
MolmoAct2: Action Reasoning Models for Real-world Deployment
Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, 等 (+24)
⭐ 13
• MolmoAct2提出了一个用于机器人的开放式动作推理模型，旨在显著超越现有系统。
• 它通过采用专门的视觉-语言模型骨干网络、构建新的数据集以及开发开放权重的动作分词器来增强模型性能。
• 该模型对架构进行了重新设计，以支持连续动作预测，从而提升了在复杂真实世界任务中的精确性。
• MolmoAct2还引入了自适应推理机制，有效降低了系统延迟，使其更适合实际部署应用。
🔗 arXiv · 🤗 HF
#机器人 #动作推理 #视觉语言模型 #实际部署 #连续控制
持续视觉记忆：维持大型视觉语言模型深度生成中的感知
Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs
Siyuan Huang, Xiaoye Qu, Yafu Li, Tong Zhu, Zefeng He, 等 (+4)
⭐ 11
• 大型视觉语言模型（LVLMs）在生成长序列时，常常面临视觉信号稀释的问题，导致模型难以有效维持对视觉信息的关注。
• 为解决此问题，本文引入了一个轻量级的持续视觉记忆模块，该模块旨在增强模型在长时间生成过程中的视觉感知能力。
• 该模块的核心机制在于能够有效维持模型对视觉输入的注意力，从而避免视觉信息在长序列生成中被逐步淡化。
• 通过集成此模块，实验结果证明模型的视觉推理性能得到了显著提升，尤其是在需要持续感知力的复杂任务中表现更优。
🔗 arXiv · 🤗 HF
#大视觉语言模型 #视觉记忆 #注意力机制 #长序列生成 #推理
Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs
Siyuan Huang, Xiaoye Qu, Yafu Li, Tong Zhu, Zefeng He, 等 (+4)
⭐ 11
• 大型视觉语言模型（LVLMs）在生成长序列时，常常面临视觉信号稀释的问题，导致模型难以有效维持对视觉信息的关注。
• 为解决此问题，本文引入了一个轻量级的持续视觉记忆模块，该模块旨在增强模型在长时间生成过程中的视觉感知能力。
• 该模块的核心机制在于能够有效维持模型对视觉输入的注意力，从而避免视觉信息在长序列生成中被逐步淡化。
• 通过集成此模块，实验结果证明模型的视觉推理性能得到了显著提升，尤其是在需要持续感知力的复杂任务中表现更优。
🔗 arXiv · 🤗 HF
#大视觉语言模型 #视觉记忆 #注意力机制 #长序列生成 #推理
❤2