文档介绍：项目的背景及必要性项目背景近年来,网络舆情对政治生活秩序和社会稳定的影响与日俱增,一些重大的网络舆情事件使人们开始认识到网络对社会监督起到巨大作用。如“”汶川特大地震中传统媒体与新媒体的充分联动,又如“”甬温线特别重大铁路交通事故中微博发挥的重要作用,再到2012年此起彼伏的社会群体事件。公共危机事件爆发时,犹如以石击水,相关信息在短时间内迅速传播,引起群众的广泛关注。一些非理性议论、小道消息或负面报道常常在一定程度上激发人们普遍的危机感,甚至影响到群众对党和政府的信任,影响到消费者对某一企业品牌的认同。如不及时采取正确的措施分析和应对,会造成难以估计的后果。随着互联网技术和应用的发展,网络舆情在数据体量、复杂性和产生速度等方面发生巨大变化。网络舆情分析方法已超出了现有常用的分析框架,必须在大数据分析的思维下有所创新。本项目主要利用网络爬虫技术和大数据技术的融合应用,建立基于贵州交通行业网络舆情监测平台。通过网络爬虫技术对各大新闻门户网站、微博、知名论坛、贴吧、博客、搜索引擎等舆情信息采集,充分使用大数据技术对采集到的网络舆情信息进行挖掘与分析。实现重大负面舆情信息、突发事件实时预警,并根据舆情分布、影响力、发展趋势等进行分析和来源追踪。项目的必要性当前,网络舆情可以说是网络舆情管理的基础和晴雨表。以大数据观念变革传统网络舆情管理思维,准确把握网络舆情的内在特征及其在演化过程中的潜在规律,对于新形势下做好网络舆情管理工作具有重要的理论意义和实践价值。因此,贵州交通行业应采取各种有效措施做好网络舆情的应对工作。增加信息透明度,准确、及时地发布权威信息,使谣言破灭,从而有效引导舆论。建立权威专业的组织体系、加强互联网人才队伍建设、采取适当的舆情引导与控制手段,是建立科学有效的舆情应对机制的必需。加强网络舆情分析与研判工作,区分不同性质的涉及本行业负面舆情,可以正确的为相关部门提供决策参考。善与媒体沟通,借助媒体传达贵州交通行业的声音,掌握舆论引导主动权。,不漏掉有价值的舆情信息。需要监控的站点主要分布于门户网站、知名论坛、搜索引擎、博客、贴吧,微博等网络载体中。、要对信息做进一步筛选,将最焦点的、最常用的、最需要的、最关注的舆情信息做相应的分类展示,方便下一步工作。、第一时间分析、第一时间展示、第一时间预警。网络信息的一大特点就是传播快,出现重大事件后,相关部门必须第一时间了解到相关情况,否则就会在整个事件的处理上处于被动局面。,容易操作,完全通过WEB方式完成,采用云技术,降低维护的技术难度,也减少了人为隐患的发生。、稳定、准确、及时采用先进的算法,多个模块组成一个安全、稳定、准确、及时的网络舆情监测平台。方案在总体设计上遵循稳定、开放、可扩展、经济、安全的原则,从而使整个方案组成合理,技术先进,易于扩展,既能满足当前的业务数据处理要求,又能符合长期发展的需要。,前端采用Ajax开发技术,操作简单、易用、高效、稳定。平台所有功能均采用纯B/S结构设计,零客户端维护。实时采集网络舆情信息,如门户网站、知名论坛、搜索引擎、博客、贴吧,微博等,7*24小时为用户提供信息采集、信息处理、信息编辑功能,实时掌握所关注的网络舆情信息,为贵州交通行业相关部门提供决策参考依据。,通过对海量网络舆情信息进行实时的自动采集、分析、汇总、监视、并识别其中的关键信息,及时通知到相关人员,从而第一时间应急响应,为正确舆论导向及收集民众意见提供直接支持的一套信息化平台。、网络机器人,在FOAF社区中间,更经常的称为网页追逐者,是一种按照一定的规则,自动地抓取互联网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。、出度(网页中链出链接数)较大的网站的URL作为种子URL集合。网络爬虫系统将这些种子集合作为初始URL,开始数据的抓取。由于网页中含有链接信息,通过已有网页的URL会得到一些新的URL,可以把网页之间的指向视为一个森林,每个种子URL对应的网页是森林中的一棵树的根节点。这样,Web网络爬虫系统就可以根据先广搜索算法或者先深搜索算法遍历所有的网页。由于先深搜索算法可能会使爬虫系统陷入一个网站内部,不利于搜索比较靠近网站首页的网页信息,因此一般采用先广搜索算法采集网页。Web网络爬虫系统首先将种子