FlowWise：流式流量的有状态快慢模型服务系统论文发布

Shinan Liu 等论文作者发布 FlowWise，一个运行在商用 CPU/GPU 服务器上的有状态流式流量智能服务系统，已开源。当新流到达速度超过端到端分析流水线处理能力时，系统对每个流联合选择收集多少数据包以及应用哪个（些）模型，以平衡延迟、服务率和准确率。 作者称，FlowWise 在 16 ms 内服务 76.3% 的流，中位端到端服务延迟相比始终运行慢模型改善 40.5 倍，同时提高服务率并保持相近准确率；扩展基准测试中单台 16 核商用 CPU 服务器每秒可承受超过 48.5k 条新流。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。