文档介绍：大数据量数据整合与查询性能优化
中软国际Jimmy(zhaojianmi@)
本文适用操作系统平台为IBM AIX ,也可用于一般UNIX平台;数据库为IBM DB2,。文中引用了笔者在金宏工程外汇管理局整合数据库、统计分析系统和综合查询子系统的开发经验。本文只考虑单一节点的数据库,没有讨论数据库集群。
阅读说明
本文主要面向数据库设计和开发人员、部署人员和性能调优人员。
在项目的初始阶段(设计初期或更早),建议阅读本文的所有内容。
在项目的后期(开发阶段或部署阶段),建议阅读的部分:
3 缓冲池和表空间
缓冲池
缓冲池大小
表空间页大小及容器分布(容器分布部分)
系统临时表空间
区段大小和预取大小
预取大小
4 提高SQL语句执行效率
建立索引
减少对数据库的更新和删除操作
如何使访问更高效
5 参数调优
AIX系统
db2环境变量
db2数据库实例参数
db2数据库参数
6 结论
赵坚密,完成于2009-2-12凌晨
备忘:2008-2-13下午4点,于融科参加技术交流会
目录
大数据量数据整合与查询性能优化 - 1 -
中软国际Jimmy(zhaojianmi@) - 1 -
阅读说明 - 1 -
目录 - 2 -
1 DB2数据库 - 4 -
数据库对象 - 4 -
实例 - 5 -
数据库 - 5 -
节点组 - 5 -
表 - 5 -
视图 - 5 -
索引 - 5 -
模式 - 7 -
系统目录表 - 7 -
存储器对象 - 7 -
表空间 - 7 -
容器 - 9 -
缓冲池 - 9 -
2 表空间存储 - 10 -
AIX系统存储管理简介 - 10 -
裸设备vs文件系统 - 11 -
系统管理vs数据库管理 - 12 -
如何合理创建表空间设备 - 13 -
原则 - 13 -
表空间容器的创建方法 - 13 -
- 14 -
建库语句参考 - 14 -
3 缓冲池和表空间 - 16 -
缓冲池 - 16 -
缓冲池大小 - 16 -
表空间页大小及容器分布 - 16 -
系统临时表空间 - 17 -
区段大小和预取大小 - 17 -
区段大小 - 18 -
预取大小 - 18 -
4 提高SQL语句执行效率 - 19 -
建立索引 - 19 -
采用表分区 - 20 -
减少对数据库的更新和删除操作 - 20 -
如何使访问更高效 - 21 -
5 参数调优 - 22 -
AIX系统 - 22 -
DB2环境变量 - 23 -
DB2数据库实例参数 - 23 -
DB2数据库参数 - 24 -
6 开始行动 - 25 -
7 参考文献 - 26 -
1 DB2数据库
数据库对象
关键的数据库对象包括:实例、数据库、节点组、表、视图、索引、模式、系统目录表。图1显示了一些数据库对象之间的关系。它也显示了表、索引和长整型数据存储在表空间中的情况。
图1. 一些数据库对象之间的关系
实例
实例(有时称为数据库管理程序)是管理数据的DB2代码。它控制可对数据执行的操作,并管理分配给它的系统资源。每一个实例都是一个完整的环境。一个实例有它自己的数据库(其他的实例不能存取它)。它还有独立的安全性,不受同一机器(系统)上其他实例的影响。
数据库
关系数据库将数据表示成表的集合。表由数目已定的列和任意数目的行组成。每个数据库都包括一组描述数据的逻辑和物理结构的系统目录表,一个包含为该数据库分配的参数值的配置文件以及一个带有正在进行的事务和可归档事务的恢复日志。
节点组
节点组是一个或多个数据库分区组成的集合。当您想为数据库创建表时,首先创建节点组以存储表空间,然后创建表空间以存储表。
表
关系数据库将数据表示成表的集合。表由逻辑排列的行和列数据组成。所有数据库的表数据都被存储在表空间中。
视图
视图是高效率的数据呈现方法(无需维护数据)。视图不是实际的表,不需要永久性存储器。创建并使用一个“