文档介绍：南京理工大学
硕士学位论文
基于Web文本内容的信息过滤系统的研究与设计
姓名:刘七
申请学位级别:硕士
专业:计算机应用技术
指导教师:王树梅
20040701
摘要的迅速发展给人们带来诸多方便的同时,也带来了诸如信息过载、信息迷向、不良信息充斥网上等等很多问题,信息过滤应运而生。中文文本信息过滤是中文信息处理的一个分支,它是根据用户的需求,在动态的信息流中搜索用户感兴趣的信息,屏蔽其它无用的信息。本文从过滤不良信息的实用技术角度出发,对基于谋灸谌莸牟涣夹畔⒐系统进行了研究和设计。本文主要工作包括:构建了基于宸钅谌莸夹畔⒐讼低车哪P汀提取趁嬷斜昙切畔⒑驼奈谋拘畔ⅲ槌裳盗肺谋炯按照一定的方法从训练文本集中抽取特征项,并经过反复训练,建立起特征词典。利用特征词典完成对训练文本和测试文本的表示:正文文本建立硎荆昙信息采用布尔模型表示。建立分级匹配策略,完成两者之间的匹配,以决定是否屏蔽测试文本。关键词:信息过滤,文本过滤,文本特征抽取,空间向量模型,文本分类,W罱邻算法,相关度反馈颇郝垡基于宸钅谌莸男畔⒐讼低车难芯坑肷杓
堡堡苎;苎±鉴甲懿樗芏榛述潭槟皿盟苒墼生些,瑃,:,,.,..甒.’:琓,琓,‘一
研究生签名:皇』垫沙铲年卵廊声学位论文使用授权声明霞明本学位论文是我在导师的指导下取得的研究成果,尽我所知,在本学位论文中,除了加以标注和致谢的部分外,不包含其他人已经发已在论文中作了明确的说明。南京理工大学有权保存本学位论文的电子和纸质文档,可以借阅或上网公布本学位论文的全部或部分内容,可以向有关部门或机构送交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对弘耵午年卵廊表或公布过的研究成果,也不包含我为获得任何教育机构的学位或学历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均于保密论文,按保密的有关规定和程序处理。研究生签名:’
⒄梗琁为全世界数以亿计的用户提供了迅捷嘌暮A啃畔ⅲ月的资料显示,。可以说互联网技术已经渗入到我们生活的各个角落,面对因特网上的海量信息,人们却常常感到信息良莠不齐,出现所:摹靶畔⒐亍焙汀靶畔⒚韵颉钡南窒蟆A硪环矫妫正如同科技是一把双刃剑,作为现代高新技术产物的谖H嗣翘峁┯杏眯畔⒌同时也为形形色色的不良信息提供了藏秽纳垢的便捷场所,据年的资料显示,不良网站大约以每天业乃俣鹊菰觯庑┮赜诤迫缪毯5囊蛱赝械牟涣纪舅供的各种暴力、色情、犯罪、邪教、反动等等不良信息正在侵蚀毒害着网民特别是未成年的学生。据资料旺示簄年初,粪镆籰没蛉耍颊ィ槐京市教委公布的数字表明:北京网吧中%的学生主要在浏览色情内容,另外%的学生大部分时问在聊天和打在线游戏,学生们花在网吧罩的时问只有不到%与学习有关:南京市网络文明工程年公布的一项调查也显示,在接受调查的名大、中学生中,曾光顾过色情网站的占到%,%的学生沉迷于网络聊天,只有近三成的学生在回答上网目的时选择“搜索信息”、“下载软件”。因此,过滤不良信息,为上网用户提供一个良好的信息资源已经越来越引起人们的关注。过滤不良信息作为信息过滤的一个直接应用,在信息过滤领域中占有重要的地位,有关信息过滤的其它应用还有电子邮件和新闻组的过滤、网上电子杂志的订阅、防火墙中内容过滤、智能信息发送、以及各剩厥庑畔⑺蜒跋低车鹊取互联网上提供的信息可以分为文本信息和非文本信息缤枷瘛和,基于目前模式识别和自然语占理解等技术的限制,本文主要针对成献畛S煤鸵于理解的文本信息从过滤不良信息的实用角度,对系统设计中涉及的文本信息过滤技术做详细的阐述和研究。.┫下死滞车囊瑌究’布
于非法网站的数量每天都在增长,非法网站可以修改主机地址或者屏蔽地文本信息过滤属于信息过滤的一个分支,。依据用户的信息需求模型,在动态的文本流中,搜索用户感兴趣的文本。文本信息过滤包括将用户感兴趣的信息从动态文本流中抽隼椿蛘呓莼В痜行巳さ男畔⒋又刑蕹瞧涫凳且桓鑫侍獾牧礁龇矫妫疚研究的不良信息过滤属于后者。文本信息过滤涉及的知识范围非常广泛,它综合了知识沦、人工智能、簂然语言理解等等领域的知识,文本信息过滤通常分为基于内容的过滤和社会过滤两种,而基于文本内容的安全信息过滤技术目时二阂2捎萌缦铝街址椒ɡ词迪止撕屠菇夭涣夹畔ⅲ构造黑名单数据库,把已经发现的散播不良信息网站的网络地址添加到黑名单数据库中,如果用户在浏览鼹页时访问了该数据库中的非法地址,则此次浏览被取消。该方法严重依赖于黑名单数据库是否完备,由址,如何严格准确地确定一个网站是否是非法网站都存在一些问题,因此该方法从技术发展角度来说