文档介绍：第卷第期中州大学学报年月
. . .
大数据环境下的数据分析及应用研究
姚瑶
中州大学信息工程学院,郑州
摘要:大数据蕴含着巨大的商业价值和社会价值。针对大数据的分析与应用面临的新挑战,
文章重点阐述了文本分析、分析、网络分析及移动数据分析等数据分析技术,并从商务智能挖
掘、公共安全预警等领域介绍了大数据分析与挖掘的热点应用。
关键词:大数据;文本分析;分析;网络分析
:./..—/...
中图分类号: 文献标识码: 文章编号:———
随着社会信息化和网络化的快速发展,数据量音频、视频等结构化、半结构化、非结构化数据等类
急速增长。据统计,全球每秒发出的—有型,其中采用传统数据处理手段难以处理的非结构
万封,每分钟上传到上的视频长小时, 化数据已接近数据总量的%。
每天上发布的微博有万条。早在第三,数据处理平台并行性更高。因大数据的
年,一天的数据处理量就有,目前已经移动和传输会消耗较大的计算资源,基于的关
达到每天处理的数据量。同时,科学计算、医系数据库系统已满足不了大数据的深度分析。以
疗卫生、金融、零售业等各行业也有大数据在不断产公司的、的为代表
生,预计到年全球信息总量会达到⋯,数性的非关系数据管理、存储和分析技术具有良好的
据计量单位如表所示。互联网、物联网、社会化网扩张性、容错性和大规模并行处理的特点,成为大数
络的应用对数据的增长起主要作用,当前已进入了据分析的主流架构和平台。
大数据时代。表数据计量单位表
大数据的新特征
相对于传统数据,大数据不仅仅表现在巨大的
数据量,还具有如下几方面的新特征。
第一,数据来源更加广泛。传统的数据来源于
科学研究产生的数据、企业数据、互联网数据等。随
着移动网络、物联网及社会网络的发展,移动设备数
据、传感器数据、射频识别数据及网络自媒
体数据增长迅速,且生成形式更加灵活、多样。云计数据处理和分析技术主要有数据库技术、数据挖
算、物联网、社交化媒体、地理信息系统为大掘技术、机器学****经济计量学、商业智能技术、数据
数据提供了丰富的数据来源。因此大数据中包括的统计及数据可视化等。当前,数据分析的面向内容
每个网络用户的身份、地点、时间、喜好、厌恶、社会有:基于数据库管理系统的结构化数据的内
关系等大量的信息。容,基于的非结构化内容,基于移动网络和传感
第二,大数据的数据类型更加复杂。包括图片、器网络的数据内容。大数据分析的研究领域主要有
收稿日期:——
项目基金:年度河南省高等学校重点科研项目
作者简介:姚瑶~ ,女,湖南保靖人,硕士,中州大学信息工程学院讲师,研究方向为网络信息技术。
· ·
文本分析、分析、网络分析及移动数据分析等。本分析技术体系如表所示。
数据分析表文本分析技术体系
. 文本分析层次应用领域
信息访问:信息检索、信息浏览、信息过滤、信息报告,
文本分析技术主要包括文本信息抽取、文本分知识发现:数据分析、数据预测
类、文本聚类、文本数据压缩、文本数据处理等。文申闻屡基本技术:文本信息抽取、文本分类、文本聚类、文本数据
本分析技术起源于信息检索和计算语言学。当前, 压缩、文本数据处理
存在于页面、—和社会媒体中的相应文窒星鳌型塑垫墨兰翌墼里:自签堡