#语音与语言处理
本文提出了一种多语言TTS评估框架:
1. 构建了包含10种印度语言、5K+句子的语音评估基准,覆盖代码混合、数字等现象;
2. 进行了大规模众包评估,收集了1900+母语评估者的12万+成对比较数据,并标注了6个感知维度;
3. 使用Bradley-Terry模型构建了多语言排行榜,并分析了模型偏好的驱动因素;
4. 研究表明,在保证鲁棒性的前提下,表达性和可理解性是影响听者选择的关键因素。
本文提出了一种多语言TTS评估框架:
1. 构建了包含10种印度语言、5K+句子的语音评估基准,覆盖代码混合、数字等现象;
2. 进行了大规模众包评估,收集了1900+母语评估者的12万+成对比较数据,并标注了6个感知维度;
3. 使用Bradley-Terry模型构建了多语言排行榜,并分析了模型偏好的驱动因素;
4. 研究表明,在保证鲁棒性的前提下,表达性和可理解性是影响听者选择的关键因素。
LASE:语言对抗性说话人编码,用于印地语系跨文字身份保持
LASE: Language-Adversarial Speaker Encoding for Indic Cross-Script Identity Preservation
Venkata Pushpak Teja Menta
⭐ 1
• 本文提出了一种语言对抗性说话人编码器(LASE),旨在解决跨文字系统语音克隆中说话人身份保持的挑战。
• LASE通过训练生成与语言无关但富含说话人信息的嵌入,有效分离了语言和说话人特征。
• 模型训练采用了对比损失和梯度反转学习机制,以确保编码器能够学习到去除了语言信息的说话人特征。
• 这种方法对于在不同文字系统之间进行语音克隆时,准确保留说话人独特的音色和身份至关重要。
🔗 arXiv · 🤗 HF
#说话人编码 #对抗学习 #语音克隆 #跨语言 #对比学习
LASE: Language-Adversarial Speaker Encoding for Indic Cross-Script Identity Preservation
Venkata Pushpak Teja Menta
⭐ 1
• 本文提出了一种语言对抗性说话人编码器(LASE),旨在解决跨文字系统语音克隆中说话人身份保持的挑战。
• LASE通过训练生成与语言无关但富含说话人信息的嵌入,有效分离了语言和说话人特征。
• 模型训练采用了对比损失和梯度反转学习机制,以确保编码器能够学习到去除了语言信息的说话人特征。
• 这种方法对于在不同文字系统之间进行语音克隆时,准确保留说话人独特的音色和身份至关重要。
🔗 arXiv · 🤗 HF
#说话人编码 #对抗学习 #语音克隆 #跨语言 #对比学习
重复胜于多样性:高信号数据过滤提升德语语言模型样本效率
Repetition over Diversity: High-Signal Data Filtering for Sample-Efficient German Language Modeling
Ansar Aynetdinov, Patrick Haller, Alan Akbik
⭐ 3
• 论文核心贡献在于揭示了对于非英语语言模型,训练数据的“重复性”比“多样性”更为重要。
• 具体方法是通过对高质量、高信号数据进行严格过滤,并在此精选数据集上进行多次重复训练。
• 结果表明,这种策略能显著提升模型的整体性能,且优于仅在更大但过滤程度较低的数据集上进行单次训练。
• 这为非英语语言模型开发提供了一种样本效率更高、性能更优的训练范式。
🔗 arXiv · 🤗 HF
#语言模型 #数据过滤 #训练策略 #样本效率 #德语
Repetition over Diversity: High-Signal Data Filtering for Sample-Efficient German Language Modeling
Ansar Aynetdinov, Patrick Haller, Alan Akbik
⭐ 3
• 论文核心贡献在于揭示了对于非英语语言模型,训练数据的“重复性”比“多样性”更为重要。
• 具体方法是通过对高质量、高信号数据进行严格过滤,并在此精选数据集上进行多次重复训练。
• 结果表明,这种策略能显著提升模型的整体性能,且优于仅在更大但过滤程度较低的数据集上进行单次训练。
• 这为非英语语言模型开发提供了一种样本效率更高、性能更优的训练范式。
🔗 arXiv · 🤗 HF
#语言模型 #数据过滤 #训练策略 #样本效率 #德语
❤1