1 / 80
文档名称:

基于Hadoop平台的实体识别系统的研究与实现.pdf

格式:pdf   页数:80
下载后只包含 1 个 PDF 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

基于Hadoop平台的实体识别系统的研究与实现.pdf

上传人:quality 2014/1/14 文件大小:0 KB

下载得到文件列表

基于Hadoop平台的实体识别系统的研究与实现.pdf

文档介绍

文档介绍:中文摘要中又捅矍攵曰贛框架的平台,以及其分布式文件存储系统进近些年随着科技的发展,人们从生产、生活中积累并抽象产生出更多的数据,使得传统的信息系统不再适合处理、计算现有的数据,并且通过研究表明计算机的物理性能已经基本达到极限,摩尔定律正在渐渐失效。针对这类问题,研究人员提出了各种各样的解决方法。例如将现有的计算机扩展为一机多核等,通过改造创锏教岣呒扑慊阅艿哪康模⑶以谑导视τ萌〉贸晒Γ墙鼋稣庑还满足不了对海量数据的计算。年,首先提出了商业云计算概念,进一步带动计算机领域对云计算的研究。现有的云计算系统主要是通过将~组廉价的计算机组织起来,相互连接协同操作,其所能达到的性能堪比价格昂贵的超级服务器。本文以云计算中的实体识别技术为背景,在平台中设计并实现了在大数据集上使用条件函数依赖约束进行数据过滤的实体识别系统。本文主要研究内容及贡献如下:紫妊芯苛嗽萍扑愕姆⒄梗⒄攵栽萍扑慊肪持卸允葜柿垦芯抗ぷ鹘仙的现状提出了在云计算环境中基于过滤条件函数依赖约束的实体识别问题。行了分析。通过研究在平台下执行计算任务的工作流程以及数据中条件函数依赖约束的特点,利用共享输入数据和共享屑浣峁街址椒ǎ岢隽私决在平台下基于条件函数依赖的实体识别任务的优化合并。通过使用任务合并技术可以高效的对在大数据集上的条件函数依赖约束进行检查,而且可以优化合并输入任务,达到缩小输入任务个数,减少对输入数据的读取代价,并且控制了任务执行过程中产成的中间结果的大小等目的。谛槟饣肪持写罱℉教ǎ哉媸档幕蚝偷鞍字适萁辛颂跫函数依赖约束的检查。验证了本文算法的有效性和本文所设计的系统的有效性。关键词:实体识别;数据质量;云计算;;条件函数关系依赖
谐鷈゛肿鱥册硼·.】】:瑂瞚,.鎜畁‘。
抵触咖心一蛐叩一;V蕖誳篹籸。籨眦挑叫瓾。。籧慨毗坶砌似№∽.委抓讯出燃呲■¨。叫旺如玎.Ⅵⅲ:幢呵虻●,.,.
目录中文摘要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯录⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第滦髀邸云计算概述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..⒄埂研究问题及意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯相关课题国内外研究现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯本文章节安排⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第翲蚣芙峁辜疤跫览档难芯俊驹怼实现了蚣艿腍T聪钅俊平台框架⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯工作流程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯条件函数依赖约束⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一第禄贖教ǖ氖堤迨侗鹣低持械娜挝窈喜⒓际醯难芯俊框架中任务间共享机制⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯黑龙江大学硕士学位论文⋯⋯⋯⋯.⋯⋯⋯⋯.⋯⋯⋯⋯..⋯⋯.⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.⋯⋯⋯⋯⋯⋯⋯⋯⋯.⋯..
⒅葱写邸基于输入共享机制的分组算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⒎⋯⋯⋯⋯⋯⋯任务优化分组中的子任务标记⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.蚕硎淙牖浦械淖尤挝袂帧≈屑浣峁蚕砘浦械淖尤挝袂帧迪帧函数实现⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯鄀函数实现⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一第孪低承阅芊治觥系统环境⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一合并条件函数依赖约束中的道基于共享输入数据机制的合并分组策略的性能分析⋯⋯⋯⋯⋯⋯一。喜⑺惺淙肴挝褡魑5ヒ蝗挝瘛目录.