重复胜于多样性：高信号数据过滤提升德语语言模型样本效率
Repetition over Diversity: High-Signal Data Filtering for Sample-Efficient German Language Modeling

Ansar Aynetdinov, Patrick Haller, Alan Akbik
⭐ 3

• 论文核心贡献在于揭示了对于非英语语言模型，训练数据的“重复性”比“多样性”更为重要。
• 具体方法是通过对高质量、高信号数据进行严格过滤，并在此精选数据集上进行多次重复训练。
• 结果表明，这种策略能显著提升模型的整体性能，且优于仅在更大但过滤程度较低的数据集上进行单次训练。
• 这为非英语语言模型开发提供了一种样本效率更高、性能更优的训练范式。

🔗 arXiv · 🤗 HF

#语言模型 #数据过滤 #训练策略 #样本效率 #德语