提出Genesis Steering:从模型自身微调数据生成激活导向向量
热点事件持续更新
提出Genesis Steering:从模型自身微调数据生成激活导向向量
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Tora Bodin 等在 arXiv 发布论文,提出 Genesis Steering 激活导向方法:从模型自身微调数据中的对比样本生成引导向量;当微调数据不可用时,用成员推断构造代理数据集。论文给出最优位移和代理估计偏差降低的理论结果。 评测在 Tulu-3-8B(其微调数据公开)上进行,并以 Llama-3.1-8B-Instruct 作为对照。结果显示,训练混合数据中的安全数据比外部数据集产生更强引导;成员分数排名靠前的样本达到与同等规模随机子集竞争的效果。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
Genesis Steering:通过训练数据改进大语言模型激活引导报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv · cs.AIGenesis Steering:通过训练数据改进大语言模型激活引导
作者提出 Genesis Steering,从模型自身微调数据中的对比样本生成引导向量,并在数据不可用时用成员推断构造代理数据集。论文给出最优位移和代理估计偏差降低的理论结果;在 Tulu-3-8B 上,训练混合数据中的安全数据比外部数据集产生更强引导,成员分数排名靠前的样本也达到与同等规模随机子集竞争的效果。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。