文档介绍：大数据技术在信息系统中的应用
【摘要】在信息经济时代,石化企业开始利用大数据处理技术建立智能化工厂以提升企业自身的核心竞争力。本文从石化企业信息化建设需求、大数据的特征和大数据处理技术等方面对大数据处理技术在石化企业信息化建设中的应用进行了技术初探。
【关键词】大数据大数据处理石化企业企业
大数据技术引领信息经济时代的到来,在石化企业经济效益倒逼的严峻形势下,企业决策层意识到利用先进的大数据处理技术,以最接近真实的数据预测未来以做出正确的生产经营决策的重要性。有前瞻性的石化企业已经踏上了利用云计算、大数据处理等先进技术建立智能化工厂以提升企业自身的核心竞争力的道路。
一、大数据概念
大数据概念的前身是海量数据,但两者有很大的区别。海量数据主要强调了数据量的规模,对其特性并没有特别关注。而大数据对传播速率、体积、特征等数据的各种特性进行了描述。目前对大数据最广泛的定义是:大数据是无法在一定时间内用通常的软件工具进行收集、分析、管理的大量数据的集合。大数据的特点一般用“4V”概括,即:Volume:数据量大,目前大数据的最小单位一般被认为是10~20TB的量级;Variety:数据类型多,包括了结构化、非结构化和半结构化数据;value:数据的价值密度很低;velocity:数据产生和处理的速度非常快。
二、大数据相关技术
大数据处理通用技术架构
大数据的基本处理流程与传统数据处理流程的主要区别在于:由于大数据要处理大量、非结构化的数据,所以在各个处理环节中都可以采用并行处理。目前,Map Reduce等分布式处理方式已经成为大数据处理各环节的通用处理方法。Map Reduce分布式方法最先由谷歌设计并实现,包括分布式文件系统GFS、Map Reduce分布式编程环境以及分布式大规模数据库管理系统Bigrable。Map Reduce是一套软件框架,包括Map和Reduce两个阶段,可以进行海量数据分割、任务分解与结果汇总,从而完成海量数据的并行处理。
大数据采集
大数据的采集是指利用数据库等方式接收发自客户端(Web、App或者传感器形式等)的数据。大数据采集的主要特点是并发访问量大,因为同时有可能会有成千上万的用户来进行访问和操作,比如火车票售票网站的并发访问量在峰值时达到上百万,这时传统的数据采集工具很容易失效。
大数据分享
目前数据分享主要通过数据集市和开放数据平台等方法实现。开放数据平台可以提供涵盖本地服务、娱乐、教育和医疗等方方面面的数据集合,用户不但可以通过API访问,还可很方便地通过SDK集成到移动应用当中。在线数据集市除了提供下载数据的功能外,还为用户提供上传和交流数据的场所。数据平台和数据集市不但吸引有数据需求用户,还能够吸引很多数据开发者在平台上进行开发。
大数据存储及管理
大数据需要行之有效的存储和管理,否则人们不能处理和利用数据,更不能从数据中得到有用的信息。目前,大数据的存储和管理技术主要分三类:分布式文件系统、数据仓库和非关系型数据库(NoSOL)。
三、大数据技术在石化企业的应用
NoSQL数据库技术
NoSQL(Not only SQL)数据库,指与传统的关系型数据库不同的非关系型数据库。它的数据类型是非结构化的,