文档介绍：电子商务中的数据处理技术
内容提要:

介绍
想要成功地实现电子商务,需要许多IT管理系统的
支持,其中数据处理技术的发展和应用是决定电子商务成
功运行和有效管理的关键因素之一。
数据处理技术一般分为两种类型:操作型数据处理
和分析性数据处理。操作型数据处理也称为事务处理,是
指对数据库联机的日常操作。而分析型数据处理是指从大
量的事务型数据库中抽取数据,并将其清理、转换为新的
存储格式,涉及数据仓库。本章将介绍数据仓库的概念,
以及应用于电子商务中的前沿数据处理技术,包括在线分
析处理、数据挖掘技术和商业智能的概念及应用。

数据仓库的概念及特点

(1)数据仓库(Data Warehouse,DW)
建立数据仓库的目的是解决企业遇到的“企业应用蜘蛛
网”现象,并更好地支持管理决策。
(2)多维数据库(Multi-Dimensional Database,MDD)
多维数据库可以简单地理解为:将数据存放在一个n维
数组中,而不是像关系数据库那样以记录的形式存放。当维
数扩展到三维甚至更多维时,多维数组库将形成类似“超立方
块”一样的结构,人们通过多维视图来观察数据。多维数据库
增加了一个时间维,与关系数据库相比,它的优势在于可以
提高数据处理速度,加快反应时间,提高查询效率。
(3)数据集市(Data Marts)
数据集市是一种更小、更集中的数据仓库,是为企
业提供分析数据的一条廉价途径。
(4)元数据(Metadata)
元数据是关于数据的数据,它描述了数据仓库的数
据和环境。数据通常可以分为两类:一类是管理元数
据,它是对源数据及其内容、数据仓库主题、数据转换
及各种操作信息的描述。另一类是用户元数据,它帮助
用户查询信息、理解结果、了解数据仓库中的数据和组
织。
(5)外部数据源
外部数据是不能在联机事务处理(OLTP)系统中
找到,却是增强数据仓库欣喜质量所需的数据。

传统的数据库系统由于主要用于企业的日常事务处理工作,存
放在数据库中的数据基本符合操作性数据特点。而为了适应数据
分析处理的要求而产生的数据仓库存放的数据,基本符合分析型
数据的特点,下表显示出了操作性数据和分析型数据的区别。
数据仓库与普通数据库之间的区别主要表现在以下三
个方面:
(1)它依据决策要求,只从数据库中抽取那些需要的数据,
并进行一定的处理。
(2)数据仓库是多维的,即数据仓库的数据的组织方式有多
层的行和列。
(3)它采用分析型的数据处理而非普通的操作型的数据处理
方式,支持决策处理而非常规事务处理。

数据仓库需要以下数据库技术的支持:
(1)并行数据库技术
(2)高性能的数据库服务器
(3)数据库互操作技术

(1)数据仓库的数据是面向主题的
(2)数据仓库的数据是集成的
(3)数据仓库的数据是不可更新的
(4)数据仓库的数据是随时间不断变化的

(1)作为企业的核心业务
(2)优化企业内部管理控制
(3)为企业增加商业机会

数据仓库的体系结果图如下。

数据仓库的主要作用是对数据进行处理以提高它们的
质量,是企业日常处理过程中记录的数据能够更好地用于
更高层次的分析和得到更有效地利用。下表描述了产品的
生产过程与数据仓库数据处理过的对比。

(1)建模功能
(2)数据的抽取、转换和加载功能,抽取(Extraction)、转换(Transformation)和加载(Load),简称ETL
(3)数据的清洗、融合与集成功能
(4)数据存储管理和查询功能
(5)运行维护功能