Sigmoid注意力：提升单细胞基础模型性能与训练速度
Better Models, Faster Training: Sigmoid Attention for single-cell Foundation Models

Vijay Sadashivaiah, Georgios Dasoulas, Judith Mueller, Soumya Ghosh


• 本研究提出Sigmoid注意力机制，旨在显著提升生物领域基础模型的训练效率和最终性能。
• 相比于传统Softmax注意力，Sigmoid注意力能够为模型提供更优质的内部表征，从而捕获更深层的数据特征。
• 此外，该机制还能显著加速模型的训练收敛速度，并有效增强训练过程的稳定性和可靠性。
• 这些性能提升主要归因于Sigmoid注意力具有独特的有界导数和简化的对角雅可比结构，优化了梯度传播。
• 通过这些优势，Sigmoid注意力为构建高性能单细胞基础模型提供了新的高效解决方案。

🔗 arXiv · 🤗 HF

#注意力机制 #单细胞 #基础模型 #生物医学 #深度学习 #模型训练

持续视觉记忆：维持大型视觉语言模型深度生成中的感知
Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs

Siyuan Huang, Xiaoye Qu, Yafu Li, Tong Zhu, Zefeng He, 等 (+4)
⭐ 11

• 大型视觉语言模型（LVLMs）在生成长序列时，常常面临视觉信号稀释的问题，导致模型难以有效维持对视觉信息的关注。
• 为解决此问题，本文引入了一个轻量级的持续视觉记忆模块，该模块旨在增强模型在长时间生成过程中的视觉感知能力。
• 该模块的核心机制在于能够有效维持模型对视觉输入的注意力，从而避免视觉信息在长序列生成中被逐步淡化。
• 通过集成此模块，实验结果证明模型的视觉推理性能得到了显著提升，尤其是在需要持续感知力的复杂任务中表现更优。

🔗 arXiv · 🤗 HF

#大视觉语言模型 #视觉记忆 #注意力机制 #长序列生成 #推理

SplAttN：基于高斯软平滑与注意力的2D-3D点云补全框架
SplAttN: Bridging 2D and 3D with Gaussian Soft Splatting and Attention for Point Cloud Completion
⭐ 1 · arXiv · HF
#点云补全 #多模态 #高斯平滑 #密度估计 #三维重建 #注意力机制