提出并验证EDR训练目标
热点事件持续更新
提出并验证EDR训练目标
1 篇报道1 个报道来源19 小时前更新
先了解这件事
报道摘要
研究作者提出EDR训练目标,用状态占用率加权局部拒绝成本,使其精确等于推测解码的预期轮数,并推导支持无偏随机优化的时序差分梯度。该框架还提供无需实际运行推测解码的离线轮数评估器;摘要称,微调DSpark和DFly后,两个草稿模型在九个数学推理、代码生成与对话基准上均提升了平均接受长度,并优于既有训练目标。
摘自 arXiv · cs.AI
最新进展10月8日 00:56
EDR通过直接最小化预期解码轮数训练并行推测草稿模型报道时间线
沿着报道,了解事件的不同侧面。
10月8日
- arXiv · cs.AIEDR通过直接最小化预期解码轮数训练并行推测草稿模型
研究作者提出EDR训练目标,用状态占用率加权局部拒绝成本,使其精确等于推测解码的预期轮数,并推导支持无偏随机优化的时序差分梯度。该框架还提供无需实际运行推测解码的离线轮数评估器;摘要称,微调DSpark和DFly后,两个草稿模型在九个数学推理、代码生成与对话基准上均提升了平均接受长度,并优于既有训练目标。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。