文档介绍：计划类别
项目编号
项目技术报告
课题名称
项目主持人长短时记忆神经网络（Bidirectional Long Sort Term Memory，Bi-LSTM）进行情感分类。另外，考虑到不同的词对文本的贡献不相同，引入Attention机制。基于此，本文提出了一种基于Attention机制的Bi-LSTM模型对中文商品评论进行情感分类。为了验证模型的有效性，本文采用某电商网站的手机评论数据集对模型进行实验。实验结果表明，该模型取得了较好的效果。
2 基于Attention机制的Bi-LSTM模型（Bi-LSTM
model based on attention mechanism）
基于Attention机制的Bi-LSTM模型如图1所示。该模型主要由四部分组成：
（1）采用词向量表示文本；
（2）利用Bi-LSTM模型获取文本特征；
（3）引入Attention机制表示不同特征的重要性；
（4）最后利用分类器进行情感分类。
3 实验（Experiment）
数据集
为了验证模型，采取某电商网站的手机评论作为数据集。该数据集共15649篇评论，根据评论星级划分为：好评（4星、5星）4373篇评论，中评（3星）4629篇评论，差评（1星、2星）6647篇评论。数据集样例见表1。
本文选取好评、差评进行二分类；选择好评、中评、差评进行三分类。所有的分类任務重，按照80%、10%、10%的比例将数据集随机分为训练集、验证集、测试集，见表2。endprint
數据预处理
本文采用jieba分词工具对评论文本进行分词并去除分词列表中的停用词和标点符号。处理之后文本最大长度为281。为了构建特征向量，词向量的维度为100，采用两种方式初始化词向量：
（1）随机初始化：所有的词均随机初始化，并在训练过程中词向量动态更新。
（2）使用word2vec工具：使用2013年Google提出的开源工具word2vec训练词向量，同时对于未出现的词随机初始化，训练过程中词向量动态更新。
实验参数设置
为了训练一个较优的模型，模型参数的设置非常关键。模型中主要参数设置为：，批处理文件数为50，Bi-LSTM中隐藏单元数为200，，。
实验结果及分析
为了验证模型的有效性，将本文提出的模型rand-Attention-Bi-LSTM、word2vec-Attention-Bi-LSTM与LSTM、Bi-LSTM进行比较。模型评价指标为准确率、召回率、F值。实验结果见表3。
通过表3可以看出：
（1）Bi-LSTM和LSTM相比，准确率、召回率、F值均有所提升，这是因为Bi-LSTM同时考虑文本的上下文，说明Bi-LSTM的分类效果优于LSTM。
（2）由于引入Attention机制，本文的模型准确率、召回率、F值均高于LSTM和Bi-LSTM，说明Attention机制能够较好地反映文本中词的重要性。
（3）通过word2vec-Attention-Bi-LSTM和rand-Attention-Bi-LSTM对比发现，采用word2vec初始化词向量更有效，有利于提高情感分类精度。
4 结论（Conclusion）
本文提出了一种基于Attention机制的Bi-LSTM模型对中文商品评论进行情感分类。将商品评论用词向量表示，通过Bi-LSTM获取文本的上下文关系，同时引入Attention机制表示不同特征的重要性，并进一步优化模型。最后，运用该模型在某电商网站的手机评论集上进行情感分类，实验结果验证了该模型的可行性和有效性。
由于中文商品评论中包含对商品多个属性的评价，下一步工作将寻找更优的深度学习模型，对商品评论中的不同属性进行情感倾向性研究。
参考文献（References）
[1] 杜昌顺，[J].计算机工程与科学，2017，39（01）：173-179.
[2] Yoshua Bengio，Holger Schwenk，Jean-Sébastien Senécal，et Neural Probabilistic Language Model[J].Journal of Machine Learning Research，2003，3：1