利用数据稀疏性的LSTM加速器设计.pdf

文档介绍：第 2 期 电　　子　　学　　报 　
2021 年 2 月 ACTA ELECTRONICA SINICA Feb.　2021
利用数据稀疏性的 LSTM加速器设计
高　琛，张　帆，高彦钊
（信息工程大学，河南郑州 450002）
　　摘　要：　针对长短时记忆神经网络（Long Short-Term Memory，LSTM）模型计算开销大、冗余计算较多的问题，本
文提出一种利用输入数据稀疏性的 Delta 网络算法，对输入序列的稀疏性进行构
建，在避免数据不规则加载的前提下，对冗余矩阵向量乘法运算进行过滤；针对矩阵向量乘法计算模式进行建模，寻找
MNIST 标准数据集上的实验表明，当 Delta 网络算法的过滤门限不超过 时，
LSTM神经网络算法检测准确率不变，计算性能提高了 倍.
关键词：　长短时记忆神经网络；现场可编程逻辑门阵列；稀疏性；矩阵向量乘法
中图分类号：　　　　文献标识码：　A　　　文章编号：　0372-21 12 （2021）02-0209-07
电子学报 URL：http：／／　 DOI： ／
Design of LSTM Accelerator by Utilizing Data Sparseness
GAO Chen，ZHANG Fan，GAO Yan-zhao