实测86个开源权重LLM跨7基准6硬件的推理能效

Zeyu Yang 与 Wes Armour 发布论文（基于论文摘要），直接测量了86个开源权重模型检查点在7个基准和6种硬件平台（从消费级GPU到8-GPU服务器）上的推理能耗与能力权衡。研究发现，多数配置比得分不低于自身的其他配置多用2.6—4.8倍能耗；启用思考模式平均增加约3.7倍能耗；FP8量化在分数变化很小的同时将能耗降低约四分之一。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。