BARRED：基于不对称辩论的定制策略护栏合成训练
BARRED: Synthetic Training of Custom Policy Guardrails via Asymmetric Debate
Arnon Mazza, Elad Levi
⭐ 7
• 本文介绍了一种名为BARRED的新颖框架，致力于为定制的护栏策略生成高质量的合成训练数据。
• BARRED的核心方法是利用维度分解技术，并结合多智能体辩论机制来系统地构建和优化训练样本。
• 通过这种合成训练方式，BARRED能够显著提升定制护栏策略的鲁棒性和有效性。
• 实验结果表明，BARRED在性能上超越了目前市场上的专有语言模型以及其他专门的护栏系统，展现出优越性。
🔗 arXiv · 🤗 HF
#合成数据 #护栏策略 #多智能体 #大语言模型 #安全对齐
BARRED: Synthetic Training of Custom Policy Guardrails via Asymmetric Debate
Arnon Mazza, Elad Levi
⭐ 7
• 本文介绍了一种名为BARRED的新颖框架，致力于为定制的护栏策略生成高质量的合成训练数据。
• BARRED的核心方法是利用维度分解技术，并结合多智能体辩论机制来系统地构建和优化训练样本。
• 通过这种合成训练方式，BARRED能够显著提升定制护栏策略的鲁棒性和有效性。
• 实验结果表明，BARRED在性能上超越了目前市场上的专有语言模型以及其他专门的护栏系统，展现出优越性。
🔗 arXiv · 🤗 HF
#合成数据 #护栏策略 #多智能体 #大语言模型 #安全对齐
部署中学习：面向通用机器人策略的集群强化学习
Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies
Yi Wang, Xinchen Li, Pengwei Xie, Pu Yang, Buqing Nie, 等 (+11)
⭐ 8
• 本研究提出“部署中学习”（Learning While Deploying, LWD）框架，旨在通过实际部署，持续改进机器人的视觉-语言-动作（VLA）策略。
• LWD框架采用大规模离线到在线强化学习范式，支持策略在部署过程中不断迭代优化。
• 该框架融合了分布式机器人经验与人工干预，从而高效指导和加速策略的学习。
• 这种边部署边学习的模式为开发能够适应复杂动态环境的通用机器人策略提供了有效途径。
🔗 arXiv · 🤗 HF
#强化学习 #机器人 #通用策略 #多模态 #集群学习 #人机协作
Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies
Yi Wang, Xinchen Li, Pengwei Xie, Pu Yang, Buqing Nie, 等 (+11)
⭐ 8
• 本研究提出“部署中学习”（Learning While Deploying, LWD）框架，旨在通过实际部署，持续改进机器人的视觉-语言-动作（VLA）策略。
• LWD框架采用大规模离线到在线强化学习范式，支持策略在部署过程中不断迭代优化。
• 该框架融合了分布式机器人经验与人工干预，从而高效指导和加速策略的学习。
• 这种边部署边学习的模式为开发能够适应复杂动态环境的通用机器人策略提供了有效途径。
🔗 arXiv · 🤗 HF
#强化学习 #机器人 #通用策略 #多模态 #集群学习 #人机协作
分布式黑盒共识优化中的行动与合作学习
Learning to Act and Cooperate for Distributed Black-Box Consensus Optimization
Zi-Bo Qin, Feng-Feng Wei, Tai-You Chen, Wei-Neng Chen
⭐ 1
• 本文提出一个创新的轨迹驱动框架，专门用于解决分布式黑盒共识优化问题。
• 该框架巧妙地利用大语言模型（LLMs）的强大能力，来指导多智能体的复杂行为与协同模式。
• 通过精确引导智能体的动作与协作策略，该方法有效克服了黑盒环境下的挑战。
• 实验结果明确显示，这种新颖的方法不仅显著提升了最终解决方案的质量，也大幅提高了优化过程的效率。
🔗 arXiv · 🤗 HF
#分布式优化 #黑盒优化 #共识优化 #大语言模型 #多智能体
Learning to Act and Cooperate for Distributed Black-Box Consensus Optimization
Zi-Bo Qin, Feng-Feng Wei, Tai-You Chen, Wei-Neng Chen
⭐ 1
• 本文提出一个创新的轨迹驱动框架，专门用于解决分布式黑盒共识优化问题。
• 该框架巧妙地利用大语言模型（LLMs）的强大能力，来指导多智能体的复杂行为与协同模式。
• 通过精确引导智能体的动作与协作策略，该方法有效克服了黑盒环境下的挑战。
• 实验结果明确显示，这种新颖的方法不仅显著提升了最终解决方案的质量，也大幅提高了优化过程的效率。
🔗 arXiv · 🤗 HF
#分布式优化 #黑盒优化 #共识优化 #大语言模型 #多智能体
模拟检索器：用于模拟电路检索的跨模态表示学习
AnalogRetriever: Learning Cross-Modal Representations for Analog Circuit Retrieval
Yihan Wang, Lei Li, Yao Lai, Jing Wang, Yan Lu
⭐ 1
• AnalogRetriever是一个统一的三模态检索框架，旨在通过整合多种数据形式来增强模拟电路设计。
• 该框架能够将电路原理图、文本描述和网表结构编码到一个共享的嵌入空间中，实现高效的跨模态检索。
• 它利用视觉语言模型处理图像和文本数据，并结合图卷积网络来理解网表等结构化信息。
• 通过这种方式，AnalogRetriever为模拟电路的快速检索提供了强大支持，从而加速设计与开发流程。
🔗 arXiv · 🤗 HF
#模拟电路 #跨模态检索 #多模态学习 #图神经网络 #视觉语言模型
AnalogRetriever: Learning Cross-Modal Representations for Analog Circuit Retrieval
Yihan Wang, Lei Li, Yao Lai, Jing Wang, Yan Lu
⭐ 1
• AnalogRetriever是一个统一的三模态检索框架，旨在通过整合多种数据形式来增强模拟电路设计。
• 该框架能够将电路原理图、文本描述和网表结构编码到一个共享的嵌入空间中，实现高效的跨模态检索。
• 它利用视觉语言模型处理图像和文本数据，并结合图卷积网络来理解网表等结构化信息。
• 通过这种方式，AnalogRetriever为模拟电路的快速检索提供了强大支持，从而加速设计与开发流程。
🔗 arXiv · 🤗 HF
#模拟电路 #跨模态检索 #多模态学习 #图神经网络 #视觉语言模型
❤1
Themis：鲁棒多语言代码奖励模型训练与多准则灵活评分
Themis: Training Robust Multilingual Code Reward Models for Flexible Multi-Criteria Scoring
Indraneil Paul, Glavaš Glavas, Iryna Gurevych
• 本文推出了Themis-RM，这是一套先进的多语言代码奖励模型，旨在提升代码生成任务的评估能力和灵活性。
• Themis-RM的核心方法是利用一个大规模的偏好数据集进行训练，使其能够学习并理解不同代码质量标准的细微差别。
• 该模型的主要贡献在于实现了灵活的多标准评分机制，能够根据不同的评估维度（如正确性、效率、可读性等）对生成代码进行综合评价。
• 凭借其鲁棒的多语言支持，Themis-RM能够有效地应用于多种编程语言环境，为研究人员提供更精确和可配置的代码评估工具。
• 最终目标是为代码生成系统提供一个强大、可定制的评估框架，以促进更高质量的代码生成。
🔗 arXiv · 🤗 HF
#代码生成 #奖励模型 #多语言 #代码评估 #评分模型
Themis: Training Robust Multilingual Code Reward Models for Flexible Multi-Criteria Scoring
Indraneil Paul, Glavaš Glavas, Iryna Gurevych
• 本文推出了Themis-RM，这是一套先进的多语言代码奖励模型，旨在提升代码生成任务的评估能力和灵活性。
• Themis-RM的核心方法是利用一个大规模的偏好数据集进行训练，使其能够学习并理解不同代码质量标准的细微差别。
• 该模型的主要贡献在于实现了灵活的多标准评分机制，能够根据不同的评估维度（如正确性、效率、可读性等）对生成代码进行综合评价。
• 凭借其鲁棒的多语言支持，Themis-RM能够有效地应用于多种编程语言环境，为研究人员提供更精确和可配置的代码评估工具。
• 最终目标是为代码生成系统提供一个强大、可定制的评估框架，以促进更高质量的代码生成。
🔗 arXiv · 🤗 HF
#代码生成 #奖励模型 #多语言 #代码评估 #评分模型
❤1
语言模型上下文技能学习：如何实现熟练习得？
From Context to Skills: Can Language Models Learn from Context Skillfully?
Shuzheng Si, Haozhe Zhao, Yu Lei, Qingyi Wang, Dingwei Chen, 等 (+8)
⭐ 2
• 本文提出一个自进化的框架，旨在赋予语言模型自主发现和完善特定上下文技能的能力。
• 框架核心是多智能体自博弈循环，通过挑战者、推理者和评估者三个关键组件之间的交互，持续生成并优化上下文相关的技能。
• 这种无需人工监督的机制，能够有效地提升语言模型在复杂上下文情境下的学习表现和处理能力。
• 实验结果表明，该方法显著改善了模型的上下文学习性能，为语言模型实现更熟练、更自主的技能习得提供了新途径。
🔗 arXiv · 🤗 HF
#大语言模型 #上下文学习 #多智能体 #自主学习 #技能习得
From Context to Skills: Can Language Models Learn from Context Skillfully?
Shuzheng Si, Haozhe Zhao, Yu Lei, Qingyi Wang, Dingwei Chen, 等 (+8)
⭐ 2
• 本文提出一个自进化的框架，旨在赋予语言模型自主发现和完善特定上下文技能的能力。
• 框架核心是多智能体自博弈循环，通过挑战者、推理者和评估者三个关键组件之间的交互，持续生成并优化上下文相关的技能。
• 这种无需人工监督的机制，能够有效地提升语言模型在复杂上下文情境下的学习表现和处理能力。
• 实验结果表明，该方法显著改善了模型的上下文学习性能，为语言模型实现更熟练、更自主的技能习得提供了新途径。
🔗 arXiv · 🤗 HF
#大语言模型 #上下文学习 #多智能体 #自主学习 #技能习得
OceanPile：面向基础模型的大规模多模态海洋语料库
OceanPile: A Large-Scale Multimodal Ocean Corpus for Foundation Models
Yida Xue, Ningyu Zhang, Tingwei Wu, Zhe Ma, Daxiong Ji, 等 (+3)
⭐ 6
• OceanPile 是一个专为海洋科学构建的大规模多模态语料库，旨在为基础模型提供丰富的训练数据。
• 该项目结合了多种异构数据类型，覆盖了海洋领域的广阔信息。
• 它还特别包含一个由知识图谱引导的指令数据集，以增强模型理解和生成能力。
• 通过整合这些资源，OceanPile致力于显著推动海洋AI应用和研究的进步。
🔗 arXiv · 🤗 HF
#海洋科学 #多模态 #语料库 #基础模型 #知识图谱
OceanPile: A Large-Scale Multimodal Ocean Corpus for Foundation Models
Yida Xue, Ningyu Zhang, Tingwei Wu, Zhe Ma, Daxiong Ji, 等 (+3)
⭐ 6
• OceanPile 是一个专为海洋科学构建的大规模多模态语料库，旨在为基础模型提供丰富的训练数据。
• 该项目结合了多种异构数据类型，覆盖了海洋领域的广阔信息。
• 它还特别包含一个由知识图谱引导的指令数据集，以增强模型理解和生成能力。
• 通过整合这些资源，OceanPile致力于显著推动海洋AI应用和研究的进步。
🔗 arXiv · 🤗 HF
#海洋科学 #多模态 #语料库 #基础模型 #知识图谱
跨文档检索增强生成的分层抽象树
Hierarchical Abstract Tree for Cross-Document Retrieval-Augmented Generation
Ziwen Zhao, Menglin Yang
• 本文提出了一种名为Ψ-RAG的新方法，旨在解决现有树状检索增强生成（RAG）模型在处理复杂的跨文档多跳问题时所面临的局限性。
• Ψ-RAG的核心创新在于其引入了一个分层抽象树索引。该索引能够有效地组织和表示多个文档中的信息，支持更深层次的语义理解。
• 此外，该方法还设计了一个多粒度检索代理。这个代理能够根据查询的复杂程度和具体需求，在分层树的不同抽象层次上进行灵活且精确的信息检索。
• 这种结合使得Ψ-RAG能够更有效地整合来自多个源文档的信息，从而为多跳问题生成更准确、更全面的答案。
🔗 arXiv · 🤗 HF
#检索增强生成 #跨文档问答 #多跳推理 #分层索引 #信息检索
Hierarchical Abstract Tree for Cross-Document Retrieval-Augmented Generation
Ziwen Zhao, Menglin Yang
• 本文提出了一种名为Ψ-RAG的新方法，旨在解决现有树状检索增强生成（RAG）模型在处理复杂的跨文档多跳问题时所面临的局限性。
• Ψ-RAG的核心创新在于其引入了一个分层抽象树索引。该索引能够有效地组织和表示多个文档中的信息，支持更深层次的语义理解。
• 此外，该方法还设计了一个多粒度检索代理。这个代理能够根据查询的复杂程度和具体需求，在分层树的不同抽象层次上进行灵活且精确的信息检索。
• 这种结合使得Ψ-RAG能够更有效地整合来自多个源文档的信息，从而为多跳问题生成更准确、更全面的答案。
🔗 arXiv · 🤗 HF
#检索增强生成 #跨文档问答 #多跳推理 #分层索引 #信息检索