FedAlign-MoE对齐联邦MoE专家

Zihan Fang等人提出FedAlign-MoE，用于移动边缘设备上的MoE大语言模型联邦微调；基于arXiv摘要的实验称，该方法在非独立同分布环境下比现有基线收敛更快、准确率更高，并保持较低的计算与通信开销。 框架同时处理客户端门控偏好分化和同索引专家语义不一致：前者通过一致性加权、路由分布对齐与分布正则化协调，后者则量化专家间语义一致性，仅聚合语义对齐的专家，以兼顾跨客户端稳定性与本地门控差异。摘要未给出具体模型规模、数据集、硬件或量化结果。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。