SuPER-Mamba免训练提升Mamba长上下文表现
热点事件持续更新
SuPER-Mamba免训练提升Mamba长上下文表现
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Zhetong Zhang与Gayan K Kulatilleke发布论文，提出无需额外训练的SuPER-Mamba框架，利用预训练Mamba模型逐位置的Surprisal（下一词预测信号）进行长程状态路由，并通过局部池化确定全局通道更新的优先级，不依赖查询相关评分。 基于论文摘要，该方法在LongBench-E基准上对三个状态空间模型评测，平均分从8.06提升至15.69，相对基础模型提升94.7%，较此前最佳基线提升13.1%；消融和按长度分析支持其有效性。
AI 根据报道生成 · 1 小时前更新
最新进展10月14日 12:00
SuPER-Mamba：通过Surprisal优先排序实现Mamba长上下文路由报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- arXiv · cs.AISuPER-Mamba：通过Surprisal优先排序实现Mamba长上下文路由
研究作者提出无需额外训练的SuPER-Mamba，利用预训练Mamba的逐位置Surprisal信号进行长程状态路由，并通过局部池化确定全局通道更新的优先级。摘要称，该方法在LongBench-E上将三个状态空间模型的平均分从8.06提升至15.69，相对基础模型提升94.7%，较此前最佳基线提升13.1%；消融和按长度分析支持其有效性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。