基于AutoEncoder的BP神经网络改进.doc

文档介绍：
基于 AutoEncoder 的 BP 神经网络改进
李森林,邓小武*
(怀化学院计算机工程系,怀化 418008)
5
摘要:深度学习模型 AutoEncoder 可以从无标签数据中自动学习数据特征,假定网络输入与输出相同,通
过优化模型训练得到的权重作为神经网络初始化参数。解决了神经网络训练中因随机选择初始化参数,而
导致网络易陷入局部极小的缺陷。实验取得了很好的效果。
关键词:人工智能;无监督学习;自编码器;神经网络
中图分类号:请查阅《中国图书馆分类法》
10
BP work Improvement Based on AutoEncoder
LI Senlin, DENG Xiaowu
(Huaihua University,HuaiHua 418008)
15
20
25
30
35
Abstract: AutoEncoder of Deep learning model can automatically learn the characteristics of the data with
unlabeled data. Assuming the work input and output, initialization parameters is obtained by optimizing
the model and work. It solves that work is easy to fall into local minimum , due to random
selection initialization parameters. Experiment has achieved good results.
Key words: AI;Unsupervised learning; AutoCoder; work
0 引言
传统神经网络多采用有监督数据进行训练学习,BP 算法作为传统训练多层网络的典型
算法,由于代价函数是非凸的,且随机值初始化参数导致收敛到局部最小值,所以这种训练
方法很不理想。于是出现了多种 BP 改进算法,文献[1]采用改进 PSO 算法优化 BP 神经网络
权值试图解决局部极小问题;文献[2]给出了自适应步长、同论算法、L-M 算法的三种改进方
法进行分析对比,但效果都不理想。这是因为浅层学习在有限样本下对复杂函数的表示能力
有限,且函数非凸造成的。深度学习(Deep Learning) 是机器学习前沿技术,2006 年由
Hinton 等在 Science 上提出。Deep Learning 通过建立、模拟人脑视觉系统来进行分析学习
的神经网络,目前深度学习在图像,声音和文本领域,展现了强大的从少数样本集中学习数
据集本质特征的能力。文中提出一种基于深度学习的 AutoEncoder 自编码模型[3]改进 BP 网
络,用无监督数据训练的权重作为网络参数的初始化值,最后用监督数据调优,来进行分类,
实验取得了较好的效果。第 1 部分析了自动编码器方法;部分 2 给出了 BP 网络训练方法和
产生局部极小值的原因;部分 3 用 autoEncoder 改进 Bp 网络的方法和实验结果。最后展望
了深度学习的待研究事项。
1