GRAU：面向量化加速器的运行时可重构激活重量化单元

Yuhao Liu、Salim Ullah、Akash Kumar 在 arXiv 论文（摘要，v3）中提出 GRAU，一种面向量化神经网络加速器的运行时可重构激活-重量化单元：用 Power-of-Two 斜率的分段线性拟合，将批归一化、非线性激活和重量化融合为一个硬件单元。 据摘要，GRAU 只需基础比较器和 1 位右移器，支持混合精度量化以及在 SiLU、GELU 等后累加函数之间运行时切换；相比多阈值激活-重量化单元，LUT 消耗减少约 90% 或更多。作者还探索了不同近似设置下精度与硬件开销的权衡，并提供开源的 GRAU 感知网络训练工具链。

AI 根据报道生成 · 10 小时前更新