轨迹特征未改善注意力路由效果

Yupeng Yao评估了隐藏状态外推误差、曲率和误差变化等轨迹特征能否改善最终层注意力路由；在冻结的 SmolLM3-3B-Base 和 Qwen3.5-4B-Base 上，六项预设比较经多重校正后均未显示正向增益。 测试使用100本留出的PG-19书籍，在相同的因果20%调用配额下比较效用监督路由器。实际执行所选查询可小幅降低长序列延迟，但负对数似然增加；缓存续写时，学习型路由器仍比基线更慢。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。