文档介绍：开发者使用文档和场景汇总
数据平台用户指南
系统名称
DP in DP
项目负责人
数据平台团队
作者
2014年4月10日
文档提交日期
修改记录
修改人
修改日期
修改内容简介
修改后
No
｝[/$｛产品或项目名称｝]，其中”产品或项目名称“为可选，各业务线按需 创建，在”产品或项目名称“目录下，用户放置程序或DOL
注意：开发环境以Hadoop作为认证方式，每次登录拿到的ticket有效期为一天，如出现执行
hive,hadoop失败，请重新登录！
典型用户场景
数据导入：可选步骤；如果有需要的数据没有导入，可以使用Galaxy的传输工具配置导 入作业（）
查询主数据，两个目的：
查询程序使用的数据是否都已经导入HIVE
查询如何使用模型数据
（请点击链接访问新的主数据系统）
开发程序：开发DOL或MapReduce作业，并在开发环境测试DOL或MapReduce程序
（具体使用参考3）
程序发布：程序发布到git （
配置调度：在调度系统中配置程序，定时运行程序（
同步表结构：从开发环境同步表结构，并在线上建表（
预跑数据：可选步骤；两个目的：
在线上验证作业正确性
补历史数据
（）
数据导出：可选步骤；将数据从Hive导入GP Report或是GP Analysis （具体使用参考
52）
开发程序
DOL的命名规范：
例：
DOL程序由Hive的配置和SQL组成，开发完DOL程序后需要将它放入对应的”产品或项目“目录 中，之后可以使用以下命令在开发环境中进行测试：
sun velocity -g ［线上组账号名称］-p ［产品或项目名称］-dol ［DOL文件名］-d ［时间参数］
使用示例：sun velocity -g warehouse -p dol -dol -d 2013112
开发测试 MapReduce Job
如果复杂的逻辑较难或无法使用Hive实现，用户可以自己实现MapReduce作业，开发完成之后 将程序放入对应的”产品或项目“目录中，之后需要使用shell脚本或是python脚本封装程序启动 的命令，shell脚本和python脚本的命名规范如下：
shell脚本- python脚本-
例：shell 脚本- pyhton 脚本- 之后可以使用系列命令在开发环境中进行测试：
shell脚本:sun shell -g ［线上组账号名称］-p ［产品或项目名称］-f ［用户参数］ python脚本:sun shell -g ［线上组账号名称］-p ［产品或项目名称］-f ［用户参数］
关于如何开发一个DOL或MapReduce作业，请参考附录中的资料
DOL开发参考
MapReduce开发参考
程序上线过程
BU开发人员：
Step 1: Clone 项目 data_analysis ( )，创建
自己的分支
data_analysis项目的组织结构与调度机器上目录组织结构基本相同：
/［线上组账号名称］/［产品或项目名］/
gitep 2：加入自己的代码，push代码到仓库(如果没有push权限，请找模型同学:data-
******@ 开通)
Step 3：提交Pull Request，找模型的同学审核(请大家找自己对应的BU同学，或是赵宏)，
审核通过后会 merge至U master分支
Step 4：登陆开发环境，发布程序
登陆到开发机器上()，运行下面的命令：
sun publish -g ［group name］
其中group name对应data_analysis项目中的第一级目录名
. sun publish -g dwdev_online
会把data_analysis项目中/dwdev_online/T的所有内容传到调度机器的
/data/deploy/dwdev_online/i 录下
DW开发人员：
步骤同BU开