#自然语言处理
本文提出了一种新的生成模型范式——流匹配，它基于连续归一化流，并允许以空前的规模训练CNF。
- 流匹配是一种无模拟方法，通过回归固定条件概率路径的矢量场来训练CNF。
- 使用扩散路径的FM可以为训练扩散模型提供更鲁棒和稳定的替代方案。
- FM为训练具有其他非扩散概率路径的CNF打开了大门，例如使用最优传输位移插值来定义条件概率路径。
- 在ImageNet上使用流匹配训练CNF，在似然性和样本质量方面都能获得比其他基于扩散的方法更好的一致性表现。
本文提出了一种新的生成模型范式——流匹配，它基于连续归一化流，并允许以空前的规模训练CNF。
- 流匹配是一种无模拟方法，通过回归固定条件概率路径的矢量场来训练CNF。
- 使用扩散路径的FM可以为训练扩散模型提供更鲁棒和稳定的替代方案。
- FM为训练具有其他非扩散概率路径的CNF打开了大门，例如使用最优传输位移插值来定义条件概率路径。
- 在ImageNet上使用流匹配训练CNF，在似然性和样本质量方面都能获得比其他基于扩散的方法更好的一致性表现。
互促式双模自演化：加速音视频角色自回归生成
Mutual Forcing: Dual-Mode Self-Evolution for Fast Autoregressive Audio-Video Character Generation
Yupeng Zhou, Lianghua Huang, Zhifan Wu, Jiabao Wang, Yupeng Shi, 等 (+5)
⭐ 16
• 本文提出“互促式”（Mutual Forcing）框架，旨在实现高效的自回归音视频角色生成。
• 该框架通过一个统一模型，巧妙地融合了少步和多步两种训练模式，以优化生成过程。
• 两种训练模式共享参数，这种设计显著提升了模型在生成内容时的一致性。
• 互促式方法有效减少了模型训练和推理的开销，提升了整体效率。
• 最终，该方法能够快速生成高质量的音视频角色内容。
🔗 arXiv · 🤗 HF
#音视频生成 #自回归模型 #角色生成 #高效生成 #双模训练
Mutual Forcing: Dual-Mode Self-Evolution for Fast Autoregressive Audio-Video Character Generation
Yupeng Zhou, Lianghua Huang, Zhifan Wu, Jiabao Wang, Yupeng Shi, 等 (+5)
⭐ 16
• 本文提出“互促式”（Mutual Forcing）框架，旨在实现高效的自回归音视频角色生成。
• 该框架通过一个统一模型，巧妙地融合了少步和多步两种训练模式，以优化生成过程。
• 两种训练模式共享参数，这种设计显著提升了模型在生成内容时的一致性。
• 互促式方法有效减少了模型训练和推理的开销，提升了整体效率。
• 最终，该方法能够快速生成高质量的音视频角色内容。
🔗 arXiv · 🤗 HF
#音视频生成 #自回归模型 #角色生成 #高效生成 #双模训练
基于一维语义分词器的端到端自回归图像生成
End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer
Wenda Chu, Bingliang Zhang, Jiaqi Han, Yizhuo Li, Linjie Yang, 等 (+2)
⭐ 2
• 论文引入了基于一维语义分词器的端到端自回归图像生成框架，旨在更有效地对图像进行序列化表示和生成。
• 该模型采用端到端训练范式，通过结合重建损失和生成损失进行联合优化，以提升模型对图像语义和结构的理解。
• 一维语义分词器能够将高维图像数据转换为紧凑的语义token序列，显著简化了自回归生成过程的复杂度。
• 在标准ImageNet 256x256图像生成基准测试上，所提出的方法取得了领先于现有技术的优异性能。
🔗 arXiv · 🤗 HF
#图像生成 #自回归模型 #端到端学习 #语义分词器
End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer
Wenda Chu, Bingliang Zhang, Jiaqi Han, Yizhuo Li, Linjie Yang, 等 (+2)
⭐ 2
• 论文引入了基于一维语义分词器的端到端自回归图像生成框架，旨在更有效地对图像进行序列化表示和生成。
• 该模型采用端到端训练范式，通过结合重建损失和生成损失进行联合优化，以提升模型对图像语义和结构的理解。
• 一维语义分词器能够将高维图像数据转换为紧凑的语义token序列，显著简化了自回归生成过程的复杂度。
• 在标准ImageNet 256x256图像生成基准测试上，所提出的方法取得了领先于现有技术的优异性能。
🔗 arXiv · 🤗 HF
#图像生成 #自回归模型 #端到端学习 #语义分词器
Talker-T2AV：基于自回归扩散模型的音视频联合说话人生成
Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling
Zhen Ye, Xu Tan, Aoxiong Yin, Hongzhan Lin, Guangyan Zhang, 等 (+6)
⭐ 1
• 本文提出Talker-T2AV，一个创新的自回归扩散框架，专门用于生成高度逼真的说话人头像。
• 该框架的核心思想是将高层级的跨模态推理与低层级的模态特定精化过程进行有效解耦，以优化复杂生成任务。
• 这种模块化的设计允许系统在处理不同模态（如音频和视频）时，能更精细地协调它们之间的关系。
• 实验结果表明，Talker-T2AV显著提升了生成说话人头像的唇形同步准确性，使其与输入音频更加匹配。
• 此外，该方法还大幅增强了生成音视频内容间的跨模态一致性，确保了整体的自然流畅度。
🔗 arXiv · 🤗 HF
#说话人合成 #音视频生成 #扩散模型 #自回归模型 #多模态
Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling
Zhen Ye, Xu Tan, Aoxiong Yin, Hongzhan Lin, Guangyan Zhang, 等 (+6)
⭐ 1
• 本文提出Talker-T2AV，一个创新的自回归扩散框架，专门用于生成高度逼真的说话人头像。
• 该框架的核心思想是将高层级的跨模态推理与低层级的模态特定精化过程进行有效解耦，以优化复杂生成任务。
• 这种模块化的设计允许系统在处理不同模态（如音频和视频）时，能更精细地协调它们之间的关系。
• 实验结果表明，Talker-T2AV显著提升了生成说话人头像的唇形同步准确性，使其与输入音频更加匹配。
• 此外，该方法还大幅增强了生成音视频内容间的跨模态一致性，确保了整体的自然流畅度。
🔗 arXiv · 🤗 HF
#说话人合成 #音视频生成 #扩散模型 #自回归模型 #多模态
运动感知缓存：高效自回归视频生成框架
Motion-Aware Caching for Efficient Autoregressive Video Generation
Jing Xu, Yuexiao Ma, Songwei Liu, Xuzhe Zheng, Shiwei Liu, 等 (+5)
• 本文介绍了一种名为MotionCache的运动感知缓存框架，旨在大幅提升自回归视频生成的效率。
• 该框架的核心在于其运动感知缓存机制，能根据视频内容的像素级运动特性进行智能判断。
• MotionCache通过动态调整去噪过程中的步长频率，避免对静态区域进行不必要的计算。
• 实验结果表明，该方法在保持高质量视频输出的同时，实现了显著的生成速度提升。
🔗 arXiv · 🤗 HF
#视频生成 #自回归模型 #效率优化 #运动感知 #缓存 #扩散模型
Motion-Aware Caching for Efficient Autoregressive Video Generation
Jing Xu, Yuexiao Ma, Songwei Liu, Xuzhe Zheng, Shiwei Liu, 等 (+5)
• 本文介绍了一种名为MotionCache的运动感知缓存框架，旨在大幅提升自回归视频生成的效率。
• 该框架的核心在于其运动感知缓存机制，能根据视频内容的像素级运动特性进行智能判断。
• MotionCache通过动态调整去噪过程中的步长频率，避免对静态区域进行不必要的计算。
• 实验结果表明，该方法在保持高质量视频输出的同时，实现了显著的生成速度提升。
🔗 arXiv · 🤗 HF
#视频生成 #自回归模型 #效率优化 #运动感知 #缓存 #扩散模型