资源受限LLM训练综述

该综述梳理了大语言模型缩放理论从经验缩放定律到计算最优训练的演进，重点考察参数效率、token利用、数据效率及资源受限环境。相关文献涵盖数据剪枝、高效架构、量化、低秩适配和面向边缘设备的优化，并指出企业级基础设施上的缩放原则能否泛化至小模型与受限算力环境仍存在经验、理论和方法缺口。

摘自 arXiv · cs.AI

还没有足够的连续观测数据，暂不绘制趋势。