基于Mapreduce 的大规模社会网络提取方法研究倡.pdf

文档介绍：第 28 卷第 1 .1
2011 年 1 月 Vol .2011No
Application Research puters Jan
基于 Mapreduce 的大规模
社会网络提取方法研究倡
1,2 3 3 3 1
施? , 肖仰华, 温文灏, 朱乾钱, 王恒山
(, 上海佺 200093; , 江苏南通 226019;
学计算机科学技术学院, 上海 200433)
摘要: 从海量非规范数据源提取大规模高质量的社会网络有着广阔应用前景和较高学术价值,同时也
Web
面临着海量计算所带来的巨大挑战。为此,以新闻评论网站为信息源,以提取网站用户之间的共同兴趣网
Digg
络为主要目标,提出了基于云平台的社会网络提取系统框架,实现了基于的大规模社会网络提取方
Mapreduce
法。实验结果表明,提出的方法具有较好的扩展性和伸缩性,能够胜任从异构数据源提取高质量的大规模
Web
社会网络的计算任务。
关键词: 社会网络提取; 关系提取; 云计算; ; 社会网络
Mapreduce
中图分类号: 311 文献标志码: 文章编号: 1001唱3695(2011)01唱0145唱04
TP A
: /. .
doi j issn
唱
Research on method for extracting large scale
work based on Mapreduce
1,2 , 唱 3 , 唱 3 , 唱 3 , 唱 1
SHI Quan XIAO Yang hua WEN Wen hao ZHU Qian qian WANG Heng shan
( of Management, University of Shanghai for Science Technology, Shanghai 200093, China; puter Science Tech唱
& &
nology, Nantong University, Nantong Jiangsu 226019, China; puter Science, Fudan University, Shanghai 200433, China)
Abstract: 唱唱
.Extracting, large scale works from massive heterogeneous唱 Web, data is of both theoretical and practical sig
nificance of definite features of this task was large puting which remains to be a great. challenge, that
would be addressed puting platform had provided us new opportunity to e this c