选择性SSM分布式学习收敛分析

研究者针对选择性状态空间模型（如Mamba2）的分布式学习，推导了单层和多层模型的架构感知梯度、光滑性，以及FedAvg和FedProx的收敛界。摘要称，研究还在教师SSM生成的序列上对单层界进行了数值验证，并在六个文本领域比较九种联邦学习算法，用于考察局部训练和客户端异构性对Mamba2语言建模的影响；材料未说明这些比较是否形成性能结论。

AI 根据报道生成 · 35 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。