循环语言模型按需动态计算

研究提出“best-available”KV缓存策略，使循环语言模型能根据计算需求动态运行，并在保持全深度性能的同时，最多减少30%的FLOPs和KV内存。作者还设计了面向该策略的训练方法，并调整提前退出目标的施加方式，使不同Token依据任务难度在不同深度退出。 论文在Ouro模型及从头预训练的小型循环语言模型上进行验证；当前依据仅为论文摘要，摘要未说明具体模型规模、测试任务或独立复现情况。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。