#模型工坊

本文提出Diffusion Templates，一个用于可控扩散模型的统一插件框架。
- 该框架将基础模型推理与可控能力注入解耦，提供训练、加载和组合异构控制模块的通用接口。
- 框架包含模板缓存、模板模型和模板管线三个核心组件，支持KV-Cache和LoRA等多种能力载体。
- 基于此设计构建了丰富的模型库，涵盖结构控制、亮度/色彩调整、图像编辑、超分辨率等任务。
- 案例研究表明，Diffusion Templates可统一广泛的可控生成任务，并在快速演进的扩散骨干网络中保持模块化和可组合性。

Sigmoid注意力：提升单细胞基础模型性能与训练速度
Better Models, Faster Training: Sigmoid Attention for single-cell Foundation Models

Vijay Sadashivaiah, Georgios Dasoulas, Judith Mueller, Soumya Ghosh


• 本研究提出Sigmoid注意力机制，旨在显著提升生物领域基础模型的训练效率和最终性能。
• 相比于传统Softmax注意力，Sigmoid注意力能够为模型提供更优质的内部表征，从而捕获更深层的数据特征。
• 此外，该机制还能显著加速模型的训练收敛速度，并有效增强训练过程的稳定性和可靠性。
• 这些性能提升主要归因于Sigmoid注意力具有独特的有界导数和简化的对角雅可比结构，优化了梯度传播。
• 通过这些优势，Sigmoid注意力为构建高性能单细胞基础模型提供了新的高效解决方案。

🔗 arXiv · 🤗 HF

#注意力机制 #单细胞 #基础模型 #生物医学 #深度学习 #模型训练

MASCing：激活转向掩码实现MoE行为可配置
MASCing: Configurable Mixture-of-Experts Behavior via Activation Steering Masks

Jona te Lintelo, Lichao Wu, Marina Krček, Sengim Karayalçin, Stjepan Picek
⭐ 1

• MASCing是一个框架，旨在无需重新训练的情况下，灵活重新配置MoE模型的行为。
• 其核心目标是通过动态调整，提升MoE模型在安全目标方面的可控性。
• 该框架利用激活转向矩阵，精细控制模型激活，改变专家行为表现。
• 同时，它还通过修改路由门机制，有效引导信息流，实现行为定制。
• 这一创新方法极大地降低了实现模型行为调整的成本与复杂性。

🔗 arXiv · 🤗 HF

#混合专家模型 #模型控制 #激活操纵 #路由机制 #模型安全 #高效微调

基于Tsallis损失连续体的推理模型训练与冷启动缓解
How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum
arXiv · HF
#大语言模型 #强化学习 #推理模型 #冷启动 #损失函数 #模型微调