SemanticFold压缩提示前缀并评估能力影响

Mingyan Liu与Min Huang提出SemanticFold，在Qwen3、SmolLM2和Pythia的五个模型规模上，将提示前缀的隐藏状态按学习到的边界折叠压缩；固定前缀对照组与压缩组使用相同后续词元，比较语言建模、有限标签推理、线性探针、开放式生成及系统内存和延迟。论文摘要称，各项指标随压缩变化并不同步，不存在统一阈值；Qwen上较好的似然主要来自学习到的残差适配，而非序列缩短本身。

AI 根据报道生成 · 39 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。