部署中学习：面向通用机器人策略的集群强化学习
Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies

Yi Wang, Xinchen Li, Pengwei Xie, Pu Yang, Buqing Nie, 等 (+11)
⭐ 8

• 本研究提出“部署中学习”（Learning While Deploying, LWD）框架，旨在通过实际部署，持续改进机器人的视觉-语言-动作（VLA）策略。
• LWD框架采用大规模离线到在线强化学习范式，支持策略在部署过程中不断迭代优化。
• 该框架融合了分布式机器人经验与人工干预，从而高效指导和加速策略的学习。
• 这种边部署边学习的模式为开发能够适应复杂动态环境的通用机器人策略提供了有效途径。

🔗 arXiv · 🤗 HF

#强化学习 #机器人 #通用策略 #多模态 #集群学习 #人机协作

边部署边学习：面向通用机器人的车队级强化学习策略
Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies
⭐ 8 · arXiv · HF
#强化学习 #具身智能 #机器人控制 #流匹配 #在线学习

Odysseus：强化学习驱动VLM实现百回合游戏长期决策
Odysseus: Scaling VLMs to 100+ Turn Decision-Making in Games via Reinforcement Learning

Chengshuai Shi, Wenzhe Li, Xinran Liang, Yizhou Lu, Wenjia Yang, 等 (+8)
⭐ 2

• 针对VLM在百回合以上长周期游戏决策挑战，本文通过强化学习（RL）训练VLM。
• 提出PPO改进算法，引入轻量评论器，显著提升训练稳定性和样本效率。
• 预训练VLM提供强大动作先验，提高RL效率，减少手动设计。
• 构建Odysseus框架，VLM实现3倍游戏进展，具备良好泛化性，为具身智能体RL提供指导。

🔗 arXiv · 🤗 HF

#视觉语言模型 #强化学习 #长期决策 #游戏AI #具身智能体

感知流网络：面向视觉接地推理
Perceptual Flow Network for Visually Grounded Reasoning

Yangfu Li, Yuning Gong, Hongjian Zhan, Teng Li, Yuanhuiyi Lyu, 等 (+6)


• 本文提出感知流网络（PFN），旨在克服现有视觉语言模型在处理复杂视觉推理任务时面临的挑战和局限性。
• PFN的核心创新在于将视觉信息中的感知与高级推理过程有效解耦，从而实现更清晰、更结构化的信息处理。
• 该模型采用先进的变分强化学习范式进行训练，使其能够灵活学习并优化推理策略，以适应不同的视觉场景。
• 为进一步提升推理的准确性和鲁棒性，网络引入了多维度奖励机制，显著增强了其视觉接地推理能力。

🔗 arXiv · 🤗 HF

#视觉推理 #强化学习 #感知推理 #视觉语言模型 #解耦学习

T^2PO：不确定性引导探索控制，提升多轮智能体强化学习稳定性
T^2PO: Uncertainty-Guided Exploration Control for Stable Multi-Turn Agentic Reinforcement Learning

Haixin Wang, Hejie Cui, Chenwei Zhang, Xin Liu, Shuowei Jin, 等 (+5)


• T²PO（Token和Turn级策略优化）是一种新颖方法，旨在解决多轮智能体强化学习中常见的探索不稳定性问题。
• 该方法通过在Token和Turn等细粒度级别上，精确控制智能体的探索行为，从而显著提升学习过程的稳定性。
• 其核心机制在于结合了不确定性监控技术，并辅以动态重采样策略，以有效地引导探索过程，避免智能体陷入次优解或学习崩溃。

🔗 arXiv · 🤗 HF

#强化学习 #智能体 #探索控制 #不确定性 #多轮学习 #策略优化

表格基础模型的先验对齐数据清洗强化学习框架
Prior-Aligned Data Cleaning for Tabular Foundation Models
arXiv · HF
#表格基础模型 #数据清洗 #强化学习 #先验对齐 #奖励设计

智能体AI系统应被设计为边际Token分配器
Agentic AI Systems Should Be Designed as Marginal Token Allocators
⭐ 1 · arXiv · HF
#智能体系统 #资源分配 #大语言模型 #系统设计 #强化学习 #推理优化

HIL-BENCH：评估智能体何时寻求人类帮助的基准测试
HiL-Bench (Human-in-Loop Benchmark): Do Agents Know When to Ask for Help?
⭐ 1 · arXiv · HF
#智能体 #基准测试 #人机协作 #强化学习 #软件工程 #代码生成

多模态强化学习中基于黑盒同策略蒸馏的预对齐方法
Beyond SFT-to-RL: Pre-alignment via Black-Box On-Policy Distillation for Multimodal RL
⭐ 11 · arXiv · HF
#多模态大模型 #强化学习 #知识蒸馏 #预对齐 #复杂推理

HEAVYSKILL：智能体框架中作为内在技能的深度思考
HeavySkill: Heavy Thinking as the Inner Skill in Agentic Harness
⭐ 4 · arXiv · HF
#大语言模型 #智能体 #复杂推理 #测试时扩展 #强化学习

基于编排轨迹的LLM多智能体系统强化学习综述
Reinforcement Learning for LLM-based Multi-Agent Systems through Orchestration Traces
⭐ 1 · arXiv · HF
#多智能体 #强化学习 #信用分配 #编排机制 #大语言模型

医疗智能体的Healthcare AI Gym与多轮强化学习
Healthcare AI GYM for Medical Agents
arXiv · HF
#医疗智能体 #强化学习 #多轮交互 #知识蒸馏 #工具调用 #临床推理

Skills-Coach: 基于免训练GRPO的智能体技能自进化框架
Skills-Coach: A Self-Evolving Skill Optimizer via Training-Free GRPO
arXiv · HF
#大语言模型 #智能体 #技能优化 #强化学习 #工具调用 #自动化评估

大语言模型强化学习轨迹展开策略全面综述
Generate, Filter, Control, Replay: A Comprehensive Survey of Rollout Strategies for LLM Reinforcement Learning
⭐ 1 · arXiv · HF
#大语言模型 #强化学习 #轨迹展开 #复杂推理 #过程监督 #智能体

基于Tsallis损失连续体的推理模型训练与冷启动缓解
How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum
arXiv · HF
#大语言模型 #强化学习 #推理模型 #冷启动 #损失函数 #模型微调

RLDX-1：面向真实世界灵巧操作的多功能视觉语言动作模型
RLDX-1 Technical Report
⭐ 44 · arXiv · HF
#机器人操作 #多模态感知 #动作生成 #强化学习 #视觉语言模型

OpenSearch-VL：前沿多模态搜索智能体的开源训练配方
OpenSearch-VL: An Open Recipe for Frontier Multimodal Search Agents
⭐ 7 · arXiv · HF
#多模态 #智能体 #强化学习 #深度搜索 #工具调用

ResRL：通过负样本投影残差强化学习提升大语言模型推理能力
ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning
⭐ 2 · arXiv · HF
#大语言模型 #强化学习 #推理能力 #梯度解耦 #表征学习 #多样性

何时思考与发声：大模型推理的动态披露策略学习
When to Think, When to Speak: Learning Disclosure Policies for LLM Reasoning
⭐ 1 · arXiv · HF
#大语言模型 #交错推理 #强化学习 #流式输出 #响应延迟