文档介绍：二趟。;迷。;匡翌三笙中山大学硕士学位论文互联网用户上网数据采集与行为分析系统的设计与实现答辩委员会主席:委员:导师姓名及职称:专业名称:谢志勇常会友教授软件工程软件学院二零零七年五月学位申清人:院、系:疧
摘要关键词:数据采集,.,互联网在中国得到了普及,网络已经成为人们获取和交换信息的重要方式,,互联网用户数量在迅速增长。目前,作为国内掌握大量的流量数据的网络运营商中国电信,非常有必要深入挖掘互联网流量的价值,分析互联网用户行为,促进各种业务发展,提升据存储服务器和客户端查询监视平台。系统可以对局域网内用户上网数据进行高效率的采集、存储以及可以从多角度查询监视用户上网行为。包的鉴别匹配,识别包含能反应用户上网行为的数据的数据包,然后通过际跏迪帜诤丝占溆胗没Э瘴释ㄐ牛寻琀莸腎包传送到用户空间。用户空闻进程接收内核传来的数据包,提取能分析用户上网行为的相关信息,。查询监视客户端采用了与数据库服务器消息交互的方式,实现了一个用户从多角度查询监视用户上网情况的接口。琀形7治互联网用户体验。本文分析了当前数据采集技术的原理,设计并实现了一套互联网用户上网数据信息采集与行为分析的系统,整个系统分为三个部分:数据采集网关、数数据采集网关部分采用了在教ㄉ贤崩┱蛊淠诤丝占溆胗没Э占功能的方式。在内核空间通过加载T茨?槭迪至硕杂τ貌阈槭论文题目:专业:硕士生指导教师:互联同用户上网数据采集与行为分析系统的设计与实现软件工程谢志勇常会友教授
荆瓵却哪.㈨鰍砌印譪辒沁痮鷌健血.∞协.’.∞Ⅳ盱勰皌....∞琲痮甇。疧疶碡蓿甪
’∞,辤,琀珹篋
,业务发展如火如荼,给人们带来了崭新的通信世界。且正伴随着各种互联网应用技术的快速发展,人们对互联网的认识和使用已经越来越深入,互联网用户数量也日益增多。据中国互联网中心臣疲刂月日,我国的网民数已达到万人缤⑷,互联网的海量信但同时海量信息中种类繁多的内容,也给人们带来相当大的“信息冲击”.也更加多样。网吧、单位,小区、酒店等各种公共上网场所的互联网应用已成息,给人们的工作、学习、生活带来了极大便利。圈泄袷臣
发布各种不负责任的信息绺髦痔拥,给相关管理部门带来管理上的压力。况,如何有效监控网络上传播的不良信息,在多种网络环境下,特别是对网吧、中国电信作为国内最大的网络运营商,掌握了大量的流量数据,如何将流量的价值进行充分挖掘,促进中国电信转型业务的发展,是需要解决的问题。深入挖掘互联网流量髁炕憔鄣腄流量以及互联网用户搜索在数据分析领域的技术研究及经验积累,可延伸应用到互联网井的其中国电信具有中国盛大的互联网带宽以及最大的宽带用户群,随着、事通搜索引擎为例,中国电信网络搜索引擎上线短短拢汛锏矫刻的访问量。对人们的搜索行为进行分析是商机挖掘的有效途径,进而可实施精来挖掘搜索用户的群体行为。用户群体行为的分析反映在根据用户搜索诃分析用户的搜索兴趣,建立用户兴趣档案。并对用户进行必趣分群,掌握分群用户的属性分椎。用户搜索历史记录包括:用户的搜索词,用户的搜索时间,甩户实际点击的N颐强梢匀衔K阉鞔示褪且恢稚碳铱梢蕴峁┑姆窕蚴遣贰通过以上的用户行为分析,将用户和服务建立双向的联系。也就是我们通过用户可以找到用户想要的服务,通过服务可以找到关心这类服务的用户在哪基。这就为主动营销提供了有力的数据统计和分析支持。总之,我们可以多方面认识到采集互联网上用户数据,监测分析用户行为对电信运营商推出各种网上活动,提升用户上网价值以及公安监管部门管理社其中不良信息如“反动”、“邪教”、“色情”等的危害不言而喻,随意向互联网更有甚者,一些犯罪分子还将互联网作为一种犯罪、通信的工具。以上种种情酒店、小区等上网环境下,有效分析监视用户上网行为,给网络运营商及其管理部门和公安网络监察部门提出一个全新的课题。通过数据采集与用户行为分析系统项目的研发,在以下诸方面具有现实意义:⑻岢鍪屎现泄缧攀凳┑幕チM没形7治鼋饩龇桨福查询流量壑担嵘没逖椋俳滴穹⒄梗它领域鏘;商用业务的临近,巨大的流量蕴含着巨大的商业价值等待挖掘。以号码百确有效的主动营销。海量数据智能挖掘平台从网络搜索数据入手,从海量的用户搜索历史记录
会秩序等多方面具有深远而重要的意义。茸前数据采集技术主要有基于僮飨低彻δ芾┱沟姆绞剑治T谀核空间扩展和在用户空间扩展,两者各有其优缺点:●在内核空间做扩展方法口矗接修改操作系统核心:将要扩展的功能模块合并到创中是最直接