Sigmoid注意力：提升单细胞基础模型性能与训练速度
Better Models, Faster Training: Sigmoid Attention for single-cell Foundation Models

Vijay Sadashivaiah, Georgios Dasoulas, Judith Mueller, Soumya Ghosh


• 本研究提出Sigmoid注意力机制，旨在显著提升生物领域基础模型的训练效率和最终性能。
• 相比于传统Softmax注意力，Sigmoid注意力能够为模型提供更优质的内部表征，从而捕获更深层的数据特征。
• 此外，该机制还能显著加速模型的训练收敛速度，并有效增强训练过程的稳定性和可靠性。
• 这些性能提升主要归因于Sigmoid注意力具有独特的有界导数和简化的对角雅可比结构，优化了梯度传播。
• 通过这些优势，Sigmoid注意力为构建高性能单细胞基础模型提供了新的高效解决方案。

🔗 arXiv · 🤗 HF

#注意力机制 #单细胞 #基础模型 #生物医学 #深度学习 #模型训练

OceanPile：面向基础模型的大规模多模态海洋语料库
OceanPile: A Large-Scale Multimodal Ocean Corpus for Foundation Models

Yida Xue, Ningyu Zhang, Tingwei Wu, Zhe Ma, Daxiong Ji, 等 (+3)
⭐ 6

• OceanPile 是一个专为海洋科学构建的大规模多模态语料库，旨在为基础模型提供丰富的训练数据。
• 该项目结合了多种异构数据类型，覆盖了海洋领域的广阔信息。
• 它还特别包含一个由知识图谱引导的指令数据集，以增强模型理解和生成能力。
• 通过整合这些资源，OceanPile致力于显著推动海洋AI应用和研究的进步。

🔗 arXiv · 🤗 HF

#海洋科学 #多模态 #语料库 #基础模型 #知识图谱