#自然语言处理

本文提出了一种新的生成模型范式——流匹配，它基于连续归一化流，并允许以空前的规模训练CNF。
- 流匹配是一种无模拟方法，通过回归固定条件概率路径的矢量场来训练CNF。
- 使用扩散路径的FM可以为训练扩散模型提供更鲁棒和稳定的替代方案。
- FM为训练具有其他非扩散概率路径的CNF打开了大门，例如使用最优传输位移插值来定义条件概率路径。
- 在ImageNet上使用流匹配训练CNF，在似然性和样本质量方面都能获得比其他基于扩散的方法更好的一致性表现。

#自然语言处理

本文提出一种加速RL后训练rollout的新方法：系统集成的推测解码。
- 通过在NeMo-RL中实现推测解码，显著提升了RL rollouts的效率，同时保持了目标模型的输出分布。
- 该方法支持同步和异步管道，并能在RL rollouts期间进行推测，适用于各种推测机制。
- 在8B规模的推理后训练工作负载下，同步RL的rollout吞吐量提高了1.8倍。
- 性能模拟结果表明，结合推测解码和异步RL，在235B规模下可实现高达2.5倍的端到端训练加速。