跳到正文
热点事件持续更新

提出Genesis Steering:从模型自身微调数据生成激活导向向量

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Tora Bodin 等在 arXiv 发布论文,提出 Genesis Steering 激活导向方法:从模型自身微调数据中的对比样本生成引导向量;当微调数据不可用时,用成员推断构造代理数据集。论文给出最优位移和代理估计偏差降低的理论结果。 评测在 Tulu-3-8B(其微调数据公开)上进行,并以 Llama-3.1-8B-Instruct 作为对照。结果显示,训练混合数据中的安全数据比外部数据集产生更强引导;成员分数排名靠前的样本达到与同等规模随机子集竞争的效果。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv · cs.AI
    Genesis Steering:通过训练数据改进大语言模型激活引导

    作者提出 Genesis Steering,从模型自身微调数据中的对比样本生成引导向量,并在数据不可用时用成员推断构造代理数据集。论文给出最优位移和代理估计偏差降低的理论结果;在 Tulu-3-8B 上,训练混合数据中的安全数据比外部数据集产生更强引导,成员分数排名靠前的样本也达到与同等规模随机子集竞争的效果。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。