基于贝叶斯优化的无标签网络剪枝算法 高媛媛.pdf

文档介绍：计算机应用
Journal of Computer Applications
ISSN 1001-9081,CN 51-1307/TP
宁夏大数据与人工智能省部共建协同创新中心，银川 750021)
(*通信作者电子邮箱 yy_******@)
摘 要: 针对深度神经网络模型的参数和计算量过大问题,提出一种基于贝叶斯优化的无标签网络剪枝算法。首先,该算法
基于全局剪枝策略来有效避免以逐层方式修剪而导致的模型次优压缩率；其次，在网络剪枝过程中不依赖数据样本标签,通过
最小化剪枝网络与基线网络输出特征的距离对网络每层压缩率进行优化；最后,利用贝叶斯优化算法寻找网络每一层最优的剪
枝率，以提高子网结构搜索的效率和精度。实验结果表明,在 CIFAR-10 数据集上对 VGG-16 进行压缩，可压缩掉 %的参
数和 %的浮点运算(FLOPs)，而精度损失仅为 %。所提算法可以有效地压缩模型,且模型仍能保持良好的精度。
中文关键词；深度神经网络；模型压缩；网络剪枝；网络结构搜索；贝叶斯优化
中图分类号:TP183 文献标志码: A
Unlabeled network pruning algorithm based on
Bayesian optimization
GAO Yuanyuan1*,YU Zhenhua1，DU Fang1,2，SONG Lijuan1,2
(1. School of Information Engineering, Ningxia University, Yinchuan Ningxia 750021, China;
Innovation Center for Ningxia Big Data and Artificial Intelligence co-founded by Ningxia Municipality and Ministry of Educatio