ETL实验报告.doc

文档介绍：ETL实验报告
LT
ETL实验报告
姓名：
学号：
创建数据源
在数据源/文件/文本文件-、、、。
创建工程、新建转换，并装载文本文件数据源，如下图所示：

创建工程函数
calIDcard：实现由15位身份证到18位身份证的转变
calAge：由身份证计算实际年龄
calSex：由身份证计算性别
calBirth：由身份证计算出生年月日
calPID：由身份证号计算省编号
calPhone：由手机号码计算运营商编号
calTime：把通话记录的通话时长转换成以秒为单位的数字
以上函数的实现源码如下：



输出错误数据
错误数据包括年龄缺失、年龄错误、性别缺失、性别错误。在过滤条件中利用自定义函数过滤即可，过滤条件为：is_empty(Age)==true || Age！=calAge(IDCard) || is_empty(Sex)==true || Sex!=calSex(IDCard)，如图所示：

户籍信息修正
在高级清洗转换中利用自定义函数把15位身份证转换为18位，把年龄缺失、年龄错误、性别缺失、性别错误修正，如下图所示：

使用心得
该工具支持java自定义函数，使得工具灵活而且功能强大。通过可视化设计使操作非常方便，使流程图简洁易懂。