DySCo协同边缘云的大模型推理
热点事件观察中
DySCo协同边缘云的大模型推理
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
Jingpo Xu等提出并评测边缘—云协同大模型推理运行时DySCo；基于论文摘要，在平均并发度为8时，其深度同步批处理（DSB）吞吐量较FIFO提升275%、较精确匹配批处理提升48%、较轮询交错提升79%，同时降低平均会话延迟。 DySCo让KV缓存保留在边缘端，并以dyForward在不重新加载权重的情况下执行可配置的连续模型分层；DSB将不同切分深度的请求推进到最深切分点，再合并公共后缀执行。实验覆盖异构设备、两类模型及本地和广域链路，测得空闲间隙即使排除等待时间，仍会使每个解码步的云端后缀延迟增加最多25毫秒；代码仓库已公开。
AI 根据报道生成 · 35 分钟前更新
最新进展10月7日 12:00
DySCo：通过深度同步批处理实现边缘—云协同大语言模型推理报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv · cs.AIDySCo：通过深度同步批处理实现边缘—云协同大语言模型推理
研究作者提出 DySCo，用于边缘设备与云端协同的大语言模型推理，并引入深度同步批处理以合并不同切分深度请求的公共后缀。基于论文摘要，在平均并发度为 8 时，DSB 相比 FIFO 的吞吐量提升 275%，相比精确匹配批处理提升 48%，相比轮询交错提升 79%，同时降低平均会话延迟；实验覆盖异构设备、两类模型以及本地和广域链路，代码仓库已公开。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。