SchemaFill提升大模型工具调用吞吐
热点事件观察中
SchemaFill提升大模型工具调用吞吐
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
Zhi-Kai Chen等提出SchemaFill槽位并行推测解码框架，在Glaive和BFCL工具调用基准上，相较自回归解码实现最高4.05倍的端到端吞吐量提升。框架将跨字段、跨调用的候选值拼接，由目标模型基于实际输出前缀验证，仅提交验证通过的令牌，并在候选不一致时由目标模型修正；代码已发布至GitHub。上述结果依据arXiv论文摘要，尚不代表独立复现。
AI 根据报道生成 · 1 小时前更新
最新进展10月7日 12:00
SchemaFill通过槽位并行推测解码提升LLM工具调用吞吐量报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv · cs.AISchemaFill通过槽位并行推测解码提升LLM工具调用吞吐量
SchemaFill通过槽位并行推测解码并发生成工具调用的候选值，在Glaive和BFCL上相较自回归解码实现最高4.05倍的端到端吞吐量提升。系统会将跨字段和跨调用的候选拼接后由目标模型基于实际输出前缀验证，仅提交已验证的令牌，并由目标模型在候选不一致时提供修正；代码已发布至https://github.com/Czzzk/SchemaFill。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。