论文提出任务级自然语言先验微调方法PGT/CPS

Jian Gao、Xiao Zhang、Xun Zhu、Miao Li 和 Ji Wu 在 arXiv 论文（已更新 v2）中提出 Prior-Guided Tuning（PGT）及其实现 Contrastive Prior Steering（CPS），将任务级自然语言先验作为低资源大语言模型训练的信号，在保留监督目标的同时加入正、负先验条件损失。 作者报告的结果：在 AmbiMath、Diagnostic Anchoring 和 Jigsaw 三个任务上，CPS 在合成任务上达到接近完美的 exact-match 准确率，在存在误导性诊断建议时准确率平均提升 8.2 个百分点（两个受评模型的平均值）；在 Jigsaw 上，用十分之一的实验训练数据略超过全量数据的普通微调。

AI 根据报道生成 · 4 小时前更新