1 / 14
文档名称:

hadoop入门实例教程.pptx

格式:pptx   大小:1,307KB   页数:14页
下载后只包含 1 个 PPTX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

hadoop入门实例教程.pptx

上传人:小屁孩 2022/12/11 文件大小:1.28 MB

下载得到文件列表

hadoop入门实例教程.pptx

文档介绍

文档介绍:该【hadoop入门实例教程 】是由【小屁孩】上传分享,文档一共【14】页,该文档可以免费在线阅读,需要了解更多关于【hadoop入门实例教程 】的内容,可以使用淘豆网的站内搜索功能,选择自己适合的文档,以下文字是截取该文章内的部分文字,如需要获得完整电子版,请下载此文档到您的设备,方便您编辑和打印。Hadoop大数据解决方案进阶应用
Hadoop
讲师:迪伦(北风网版权所有)
MapReduce高阶实现(14)
hadoop入门实例教程共14页,您现在浏览的是第1页!
半连接实例
全局作业参数传递
全局数据文件传递
课程目标
hadoop入门实例教程共14页,您现在浏览的是第2页!
实例执行结果:半连接
hadoop入门实例教程共14页,您现在浏览的是第3页!
全局作业参数/数据的传递
MapReduce作业处理过程中,有时需要让每个节点共享一些重要的计算参数或数据
对于小的计算参数,可以通过Configuration类来传递
对于较大的数据,可以用共享数据文件来进行传递
尽量避免用硬代码方式在程序中设置作业参数,而是设置作业参数
实现一个具有一定通用性的程序,允许任意指定字段作为参数
运行程序时指定需传递的数据
然后该参数作为一个属性保存在Configuration对象中
并允许Map和Reduce节点从Configuration对象中获取和使用该属性值
hadoop入门实例教程共14页,您现在浏览的是第4页!
全局作业参数的传递实例
需求:
处理顾客和订单数数据集的连接
连接主键参数希望通过在命令行中给出连接主键的列号来设置
代码实现
将第1个输入参数设置为GroupKeyColIdx属性
hadoop入门实例教程共14页,您现在浏览的是第5页!
查询全局MapReduce作业属性
程序可以通过Configuration对象,使用预定义的属性名称查询计算作业相关的信息
hadoop入门实例教程共14页,您现在浏览的是第6页!
全局数据文件的传递
通过分布式缓存实现数据文件的传递
先将这些文件传送到分布式缓存中
然后各个节点从分布式缓存中将文件复制到本地的文件系统中使用
为提高访问速度,通常会将较小的文件数据读入各节点的内存中使用
涉及的编程设置
Job类 publicvoidaddCacheFile(URLuri):将一个文件存放到分布式缓存中
Mapper或Reducer的context类 publicPath[]getLocalCacheFiles():获取设置在分布式缓存中的文件路径,以便能将这些文件读入到每个节点
hadoop入门实例教程共14页,您现在浏览的是第7页!
全局数据文件的传递
hadoop入门实例教程共14页,您现在浏览的是第8页!
多数据源连接解决方法的限制
如果数据源两两之间需要进行多个不同的主键和外键的连接,则无法一次性完成数据源的连接
通过多次使用MapReduce过程完成不同主/外键键的连接
例如,有三个数据源,Customers(CustomerID主键)、Orders(OrderID主键,CustomerID外键、ItemID外键)、Products(ItemID主键)
解决方法:设计两个MapReduce作业
个作业完成Customers与Orders的连接
第二个作业完成个作业的连接结果与Products的连接
hadoop入门实例教程共14页,您现在浏览的是第9页!
全局作业参数的传递
Configuration类提供的保存和获取属性的方法
hadoop入门实例教程共14页,您现在浏览的是第10页!

最近更新

医务人员医德医风个人总结与医务人员外科医生.. 4页

办公室秘书年度个人工作总结范文与办公室秘书.. 6页

新版绩效考核主要有那些考核方法 13页

留学宣传设计方案 3页

农村工作会讲话与农村工作心得体会汇编 16页

学术英语plasticbagspollution省公开课一等奖.. 7页

公司2018销售工作总结汇报与公司HR年度个人工.. 5页

信用社会计个人的工作总结(多篇范文)与信用社.. 20页

2025年度太阳能热水系统劳务施工合同 9页

2025年度大学生对口就业实习实训基地安全管理.. 8页

2025年度多人合伙协议书版:文化创意产业合作.. 8页

2025年度城市配送司机劳动合同 8页

2025年度城市更新安置房买卖合同协议 9页

2025年度地铁沿线地下停车位租赁及交通服务合.. 8页

2025年度土地转租与体育场馆租赁合同 9页

2025年度国际贸易融资连带担保人协议 7页

2025年度商铺租赁合同(含商业活动举办及宣传.. 8页

2025年度商场品牌入驻合作协议 9页

2025年度商业地产经营管理权承包合同 8页

2025年单招考试语文试卷(含答案) 整理版 8页

2024年安徽职业技术学院单招职业技能测试题库.. 76页

安全监理实施细则(范本) 46页

物流公司员工手册 34页

前列腺穿刺活检术后护理PPT 19页

浙教版劳动四年级下册 项目一 任务二 设计能亮.. 2页

小学禁毒(课堂ppt) 23页

县“特殊教育改革实验区”工作实施方案 13页

模具日常保养指导 13页

民族传统体育教案第 (7) 3页