文档介绍：基于时域卷积与双向GRU神经网络的时序预测模型
摘要:随着物联网技术和5G技术的发展,各类智能设备收集的时序数据规模急剧增长,为了利用深度学****技术对大规模时序数据进行预测,提出一种基于深度神经网络的时序预测模型。该模型首先利目前时序预测领域常见的深度学****模型为门控循环单元网络模型(Gated Recurrent Unit,GRU)[9],该模型通过隐层状态机制实现对时序数据历史信息的利用,通过门控机制实现对隐层状态的更新,该模型可较好地实现对中等规模时序数据的预测分析。但由于模型结构较为复杂,对大规模数据进行预测时运算速度较慢,且在数据规模较大时,隐层状态机制对较早的信息无法进行有效利用,导致准确度下降[2-3]。
为了更好地对大规模时序数据进行预测,本文提出一种基于时域卷积与双向GRU神经网络的时序预测模型。该模型首先构建包含时域卷积层和最大池化层的时域卷积神经网络,通过引入滑动窗口机制及最大池化结构,对大规模时序数据进行有效信息提取并缩减数据规模,然后利用双向GRU神经网络进行时序预测,有效避免了传统模型中无法有效利用隐层信息的问题,以提高对大规模时序数据的预测准确度与速度。 1 相关理论
卷积神经网络
卷积神经网络(Convolutional Neural Network,CNN)是由LeCun[4]于1998 年提出的一种神经网络模型。卷积神经网络是一种前馈神经网络,是一种主要应用于计算机视觉领域的经典深度学****模型,相较于传统神经网络,其引入了卷积层和池化层。
卷积层(Convolutional Layer)用于将输入图像特征图与卷积核进行卷积运算,其通过滑动一个比原有输入尺寸更小的窗口提取输入的局部特征,然后在更高层进行合并,以得到输入图像全局特征。卷积层内部采用稀疏连接和权值共享机制,可以降低参数数量。
池化层(Pooling Layer)主要用于对数据进行池化处理,通常在卷积操作之后进行。池化处理的目的是为了计算特征在局部的充分统计量,从而降低总体特征数量,防止过拟合且减少计算量,同时通过增大卷积层的观察窗口,引入空间过滤器的层级结构。
时域卷积神经网络是一种使用一维卷积核(One Dimensional Convolution Kernel)[5]在时域上对时序数据进行卷积计算的卷积神经网络,其工作原理如图1所示。它将时序数据中的时间维度看作一个空间维度,通过时序分割从序列中提取出局部序列段,然后使用一维卷积核对局部序列段的邻近信号进行卷积计算,生成一个输出张量。
时域卷积计算如式(1)所示。
式中[yt]表示[t]时刻的时域卷积值,[xt-k+1]表示输入序列[x={x1,x2,?,xn}]中的第[t-k+1]个值,[wk]表示一维卷积核中的权值参数,卷积核长度为[N]。
由于时域卷积神经网络的每个输出张量都是通过对不同位置上的局部序列段使用同一离散卷积核进行卷积计算得出的,即卷积核参数是固定的,因此时序特征在时间维度上的平移不会对时域卷积神经网络产生影响。所以与传统卷积神经网络类似,时域卷积神经网络在时间维度上具有平移不变性,可以识别出隐含在局部序列段中的局部特征模式。
由于时域卷积神经网络在对输入序列进行处理时没有保留输入时间步的顺序信息,因此为了加入时序敏感性,本文引入双向GRU网络对时域卷积神经网络的输出作进一步处理。
循环神经网络
循环神经网络(Recurrent Neural Networks,RNN)是一类具有内部环的神经网络[6]。其序列处理方式是:遍历序列元素,并生成一个隐层状态,其中包含与历史数据相关的模式信息。其能够保留序列前后关系,通常被用于处理序列数据。
对于传统循环神经网络,当输入序列长度较大时,会产生梯度消失问题,导致RNN实际上只能学****到短期依赖关系,而无法很好地处理远距离依赖,也称为长期依赖问题(Long-Term Dependencies Problem)[7]。
为了解决这一问题,一种比较好的解决方案是通过引入门控机制以控制信息累积速度,包括选择性地加入新信息,并选择性地遗忘之前累积的信息,通常称这类网络为基于门控的循环神经网络(Gated RNN)。两种常见的基于门控机制的循环神经网络为:长短期记忆网络(Long Short-Term Memory,LSTM)[8]和門控循环单元网络(Gated Recurrent Unit,GRU)[9]。
LSTM神经网络由Hochreiter&Schmidhuber于1997年提出,其是循环神经网络的一种变体。GRU神经网络由Chung等提出,其在LSTM基础上作进一步优化