移动端LLM推理跨层测量：NPU框架差距可达10倍
热点事件持续更新
移动端LLM推理跨层测量：NPU框架差距可达10倍
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Guanyu Cai 等作者发布了首个移动端 LLM 推理的跨层测量研究，覆盖五种主流框架（如 llama.cpp 和 GENIE）及 CPU、GPU、NPU 三类硬件后端，并开发 PowerBench 工具测量吞吐量，提供首个按后端归因的移动端推理能耗分析。 结果显示，不同框架在 NPU 上的性能差距最高可达 10 倍；仅调节 CPU 频率即可使能耗最多降低 39.7%，面向能耗优化的 NPU 配置在三个数据集上的估算节能幅度最高为 53.2%。
AI 根据报道生成 · 3 小时前更新
最新进展10月19日 12:00
移动设备LLM推理的NPU效率瓶颈：PowerBench跨层测量研究报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- arXiv · cs.AI移动设备LLM推理的NPU效率瓶颈：PowerBench跨层测量研究
研究团队测量了五种主流框架及CPU、GPU、NPU三类后端的移动LLM推理效率，并开发PowerBench进行后端级能耗归因。结果显示，框架差异在NPU上的性能差距最高可达10倍；仅调节CPU频率即可使能耗最多降低39.7%，面向能耗优化的NPU配置在三个数据集上的估算节能幅度最高为53.2%。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 910月19日 15:00
- 近 24 小时变化
- –
02.557.510
15:0016:0017:0018:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。