Kettle工具的简单使用.doc

文档介绍：Kettle工具的简单使用
概述
使用示例
*环境说明：windows10x64、、。
创建转换
左上方工具栏->文件->新建->转换（或者使用CTRL+N快捷键reatorNS
creatorNS
6
creator
creator
7
lastModned
lastModned
8
lastModnerlD
lastModnerlD
9
lastModnerNS
lastModnerNS
1..
lastModner
lastModner
1..
versionTime
versionTiine
1..
name
name
1..
ncte
note
1..
code
cede
1..
fonline
fonline
1..
mobile
mobile
1..
sex
sex
1
riwnpr
nwnpr
数据目标定义
将"执行SQL脚本->表输入->表输出"用步骤线连接起来
定义执行顺序
执行转换
启动转换任务
-舞入□X
执行成功结果
按时间戳同步
需要分表创建以下两个转换：
1、根据记录的删除日志表，删除废弃数据。
2、选定时间戳字段（比如最后修改时间），比较时间戳，判断进行操作：插入新增数据、更新修改数据。
1、删除废弃数据
定义获取已删除过的最大流水号表输入
-表输入-匚
步骤S称菠取已删除的最大流水寻
w数据阵駐［targel*
编辑.，.
新建…
V/izard...
刃指定最大删除澆水号所左的数据'车「一般为目标匡一
SELECTiEnull(naH(fLoxcNo).C)
FRO注DataSyncDele二
KHEj?Eresourc2ld='HBAdminUser'|
、
2定义获取己删除流水号的查询语句「址处以统一的
A
V
同步删除日志表为例,
resourceld字段°
DataSyncDeleteLog含floMJO
<
>
行g列孔
命輻转换口
替换EQL语句里的变呈口
从步骡插入数据
贏価-行?卩/3点击碩定
获取已删除的最大流水号
定义获取待删除数据标识表输入
-舞入□X
-舞入□X
1指定来源库遊库连接
SQL
步嗦呂称
-舞入□X
SELECTijuidFRDHHEiAdniinUssrL口曰wh曰reElowW口>?
2定文获取待删除数据标识的语句问号表示动态变量，此处以上一个表输入数据作为变量值
获取待删除数据标识
-舞入□X
-舞入□X
定义删除步骤
连接表输入和删除步骤
-舞入□X
删除旧数据
2、根据时间戳同步数据
获取同步的时间戳
定义待同步数据的表输入
-舞入□X
-舞入□X
1指定来源库
SQL
诙库连接
src
V
编辑…
新建…
Wizard...
SELECT*£匕口口HBAdjiiinUser^£iedTiniB>?
待同步数据
定义插入/更新步骤
弓插人隻新
连接步骤
技取SQL®®葩..
插入/更新
获取最大时间戳
表輸入
拯入7更新
-舞入□X
-舞入□X
根据时间戳同步数据
数据同步
根据比较来源和目标数据字段（来源和目标表结构及字段名一致），判断进行操作：删除不存在的旧数据、插入新增数据、更新修改数据，用于数据量不大的情况。
注意：用于合并的两个数据输