文档介绍：基于聚类分析的网络舆情主题提取
该论文来源于网络，本站转载的论文均是优质论文，供学****和研究使用，文中立场与本网站无关，版权和著作权归原作者所有，如有不愿意被转载的情况，请通知我们删除已转载的信息，如果需要分享，请保留本段说明。
摘 要： 网络舆情具有时效性强、传播迅速、涉及方面杂而广、意见指向性特征明显、泛娱化特征明显等特点。因此，提出对LDA输入数据采用TF-IDF算法加强特征词筛选的方法。选取 “巴黎圣母院大火”事件，采集作为网络舆情重要来源的微博数据，进行LDA建模，引入TF-IDF算法进行特征词的筛选，能较准确地分析出该事件的主题分布。
关键词： 网络舆情; 主题提取; LDA; TF-IDF
Abstract： Network public opinion has the characteristics of strong timeliness， rapid dissemination， wide and miscellaneous involved aspect， obvious directional feature of opinion， and obvious characteristics of pan-entertainment. Therefore， TF-IDF algorithm is proposed to enhance the feature word filtering for LDA input data. Select "Notre Dame Fire in Paris" event， collect micro-blog data， which is an important source of public opinion on the network， model it with LDA， and introduce TF-IDF algorithm to select the feature words， it is found that the subject distribution of the event can be analyzed more accurately.
0 引言
相对传统舆情，网络舆情传播互动更加迅捷，影响扩散更敏感，带有网友的主观性，直接以多种形式发布在互联网上。各类社交平台的出现，缓解了网民在网络信息上作为传播者和受传者角色上的不平等，网民可以发布和传播一手信息，网络信息的真实性失去严格的把控，大量偏差甚至虚假信息横行网络，而网民的情绪又极易被煽动，若无法针对舆论事件及时作出反应，就会出现一些不理智的言论，可能加速事件恶化，让相关单位的公信力受挫。及时、准确地收集舆论信息，提取出舆情事件的主题，并针对主题给出具有针对性、行之有效的解决方案，不仅能够为未来相关主题事件的解决做准备，更提高了解决效率，遏制了事件的恶化。网络舆情的研究主要集中在网络舆情概念理论、传播特征及途径、舆情传播影响因子、舆情引导策略等[1-2]方面，利用云计算、相关算法、聚类技术进行网络舆情的热点发现、情感分析、观点挖掘、监测模式分析、主题演化等[3-4]的研究。网络的开放性让人们越来越容易表达自己，网络舆情的监测控制变得重要。准确发现和提取网络舆情的主题，对舆情的监测和疏导有着积极的意义。
1 主题提取模型和算法
判断两篇文档是否相关，通常不仅仅取决于其在字面上的词语重复程度，还很大程度上取决于文本中所隐含的主题是否类似。在文本创作中，作者通常先确定文章的主旨，再根据要涉及到的每个主题，选取相应词汇，以突出主题、构成文章。在文本挖掘中，可模拟文本创作过程，先从主题集合中选取一些主题，再从每个主题下选取一些词语，这些词语构成了最终的文档。对一篇文档判断其主题分布，便是上述过程的逆过程。而也是由上述过程可知判断一篇文档的主题分布，关键便是得到文档-主题分布、主题-词分布。LDA（潜在狄利克雷分配主题）模型针对每篇文档，文档-主题矩阵、主题-词矩阵都是不确定的，通过贝叶斯方法估计词分布和主题分布的两个未知量，提高了文档处理的灵活性。
文本经数据预处理之后，成为一系列对文档主题有贡献的词，每个词的对主题的贡献率不同。TF-IDF算法便是用来评估词汇在所在文档中的重要程度，算法结果是得出每个词的权重。词权重不仅取决于其在文章中出现的次数多少，还取决于该词常见与否。当某个词较为少见却在一篇文章中出现频繁时，那么该词很可能反映了该篇文章的特点。算法步骤如下。
第一步，计算词频。TF=某词在文章中出现的次数/文章的