文档介绍：该【hadoop入门实例教程 】是由【小屁孩】上传分享，文档一共【14】页，该文档可以免费在线阅读，需要了解更多关于【hadoop入门实例教程 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。Hadoop大数据解决方案进阶应用
Hadoop
讲师:迪伦(北风网版权所有)
MapReduce高阶实现(14)
hadoop入门实例教程共14页,您现在浏览的是第1页!
半连接实例
全局作业参数传递
全局数据文件传递
课程目标
hadoop入门实例教程共14页,您现在浏览的是第2页!
实例执行结果:半连接
hadoop入门实例教程共14页,您现在浏览的是第3页!
全局作业参数/数据的传递
MapReduce作业处理过程中,有时需要让每个节点共享一些重要的计算参数或数据
对于小的计算参数,可以通过Configuration类来传递
对于较大的数据,可以用共享数据文件来进行传递
尽量避免用硬代码方式在程序中设置作业参数,而是设置作业参数
实现一个具有一定通用性的程序,允许任意指定字段作为参数
运行程序时指定需传递的数据
然后该参数作为一个属性保存在Configuration对象中
并允许Map和Reduce节点从Configuration对象中获取和使用该属性值
hadoop入门实例教程共14页,您现在浏览的是第4页!
全局作业参数的传递实例
需求:
处理顾客和订单数数据集的连接
连接主键参数希望通过在命令行中给出连接主键的列号来设置
代码实现
将第1个输入参数设置为GroupKeyColIdx属性
hadoop入门实例教程共14页,您现在浏览的是第5页!
查询全局MapReduce作业属性
程序可以通过Configuration对象,使用预定义的属性名称查询计算作业相关的信息
hadoop入门实例教程共14页,您现在浏览的是第6页!
全局数据文件的传递
通过分布式缓存实现数据文件的传递
先将这些文件传送到分布式缓存中
然后各个节点从分布式缓存中将文件复制到本地的文件系统中使用
为提高访问速度,通常会将较小的文件数据读入各节点的内存中使用
涉及的编程设置
Job类 publicvoidaddCacheFile(URLuri):将一个文件存放到分布式缓存中
Mapper或Reducer的context类 publicPath[]getLocalCacheFiles():获取设置在分布式缓存中的文件路径,以便能将这些文件读入到每个节点
hadoop入门实例教程共14页,您现在浏览的是第7页!
全局数据文件的传递
hadoop入门实例教程共14页,您现在浏览的是第8页!
多数据源连接解决方法的限制
如果数据源两两之间需要进行多个不同的主键和外键的连接,则无法一次性完成数据源的连接
通过多次使用MapReduce过程完成不同主/外键键的连接
例如,有三个数据源,Customers(CustomerID主键)、Orders(OrderID主键,CustomerID外键、ItemID外键)、Products(ItemID主键)
解决方法:设计两个MapReduce作业
个作业完成Customers与Orders的连接
第二个作业完成个作业的连接结果与Products的连接
hadoop入门实例教程共14页,您现在浏览的是第9页!
全局作业参数的传递
Configuration类提供的保存和获取属性的方法
hadoop入门实例教程共14页,您现在浏览的是第10页!