1 / 14
文档名称:

hadoop入门实例教程.pptx

格式:pptx   大小:1,307KB   页数:14页
下载后只包含 1 个 PPTX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

hadoop入门实例教程.pptx

上传人:小屁孩 2022/12/11 文件大小:1.28 MB

下载得到文件列表

hadoop入门实例教程.pptx

文档介绍

文档介绍:该【hadoop入门实例教程 】是由【小屁孩】上传分享,文档一共【14】页,该文档可以免费在线阅读,需要了解更多关于【hadoop入门实例教程 】的内容,可以使用淘豆网的站内搜索功能,选择自己适合的文档,以下文字是截取该文章内的部分文字,如需要获得完整电子版,请下载此文档到您的设备,方便您编辑和打印。Hadoop大数据解决方案进阶应用
Hadoop
讲师:迪伦(北风网版权所有)
MapReduce高阶实现(14)
hadoop入门实例教程共14页,您现在浏览的是第1页!
半连接实例
全局作业参数传递
全局数据文件传递
课程目标
hadoop入门实例教程共14页,您现在浏览的是第2页!
实例执行结果:半连接
hadoop入门实例教程共14页,您现在浏览的是第3页!
全局作业参数/数据的传递
MapReduce作业处理过程中,有时需要让每个节点共享一些重要的计算参数或数据
对于小的计算参数,可以通过Configuration类来传递
对于较大的数据,可以用共享数据文件来进行传递
尽量避免用硬代码方式在程序中设置作业参数,而是设置作业参数
实现一个具有一定通用性的程序,允许任意指定字段作为参数
运行程序时指定需传递的数据
然后该参数作为一个属性保存在Configuration对象中
并允许Map和Reduce节点从Configuration对象中获取和使用该属性值
hadoop入门实例教程共14页,您现在浏览的是第4页!
全局作业参数的传递实例
需求:
处理顾客和订单数数据集的连接
连接主键参数希望通过在命令行中给出连接主键的列号来设置
代码实现
将第1个输入参数设置为GroupKeyColIdx属性
hadoop入门实例教程共14页,您现在浏览的是第5页!
查询全局MapReduce作业属性
程序可以通过Configuration对象,使用预定义的属性名称查询计算作业相关的信息
hadoop入门实例教程共14页,您现在浏览的是第6页!
全局数据文件的传递
通过分布式缓存实现数据文件的传递
先将这些文件传送到分布式缓存中
然后各个节点从分布式缓存中将文件复制到本地的文件系统中使用
为提高访问速度,通常会将较小的文件数据读入各节点的内存中使用
涉及的编程设置
Job类 publicvoidaddCacheFile(URLuri):将一个文件存放到分布式缓存中
Mapper或Reducer的context类 publicPath[]getLocalCacheFiles():获取设置在分布式缓存中的文件路径,以便能将这些文件读入到每个节点
hadoop入门实例教程共14页,您现在浏览的是第7页!
全局数据文件的传递
hadoop入门实例教程共14页,您现在浏览的是第8页!
多数据源连接解决方法的限制
如果数据源两两之间需要进行多个不同的主键和外键的连接,则无法一次性完成数据源的连接
通过多次使用MapReduce过程完成不同主/外键键的连接
例如,有三个数据源,Customers(CustomerID主键)、Orders(OrderID主键,CustomerID外键、ItemID外键)、Products(ItemID主键)
解决方法:设计两个MapReduce作业
个作业完成Customers与Orders的连接
第二个作业完成个作业的连接结果与Products的连接
hadoop入门实例教程共14页,您现在浏览的是第9页!
全局作业参数的传递
Configuration类提供的保存和获取属性的方法
hadoop入门实例教程共14页,您现在浏览的是第10页!

最近更新

如何在人力资源管理中提高决策的科学性 5页

奥克斯的薪酬管理浅析 6页

大数据下企业财务共享分析——以TCL集团为例 4页

《税收与博弈》 81页

多级模糊综合评价方法在企业人力资源信息系统.. 6页

基层安全生产和应急管理思考 4页

基于守敬创新工作室的技术创新型人才培养模式.. 4页

基于单片机的电机调速系统课程设计 5页

基于单片机的循环彩灯设计开题报告 5页

基于作业成本法的高校成本核算业务流程研究 6页

基于PLC的皮带集中控制系统设计毕业论文 4页

基于AT89C52单片机的智能家居系统设计 6页

培训师评估模型与评估方法(共43) 4页

在线论文管理系统及其方法 7页

国美电器案例分析 5页

国有企业优化考核分配工作,完善市场化经营机制.. 4页

国有企业专业技术人才梯队建设工作探究 6页

导购天工作流程 49页

《嗜血细胞综合征》 15页

员工绩效考评存在的问题与对策 3页

员工关系管理包含的要素及发展情况 5页

《市场营销策略模块》 36页

采购管理考试资料 26页

印章管理审计的17个核心要点 6页

银行大堂经理工作要点 39页

单位管理制度范文汇编【人力资源管理】 5页

单位管理制度优秀大全【人力资源管理】 6页

华南理工大学网络教育人力资源管理随堂练习 4页

华东理工大学论文开题报告模版-清爽大气优秀完.. 5页

医院人力成本构成、控制与分析 5页