论文提出仅用语言学规则、无需LM前向的提示压缩方法

Jianfei Ma 等在 arXiv 论文（v3）中提出一种提示词压缩方法：通过离线进化搜索组合词汇、句法、语义和篇章层面的语言学规则，得到的压缩器在部署时不需语言模型前向计算，压缩阶段仅用 CPU 处理。 作者称该方法在短文本、多文档推理和对话记忆问答数据集上取得与近期先进提示压缩方法相近的效果；其优势主要出现在轻度至中等压缩下，压缩更激进时性能下降，并随压缩率升高从词元裁剪转向句子抽取。基于论文摘要，本站未核验全文。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。