1 / 150
文档名称:

大数据面试题.docx

格式:docx   大小:1,113KB   页数:150页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据面试题.docx

上传人:aisheng191 2020/3/14 文件大小:1.09 MB

下载得到文件列表

大数据面试题.docx

文档介绍

文档介绍:这个很简单,不多说了,下面看下外部表:1、Hive内部表与外部表的区别?先来说下Hive中内部表与外部表的区别:Hive创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。需要注意的是传统数据库对表数据验证是schemaonwrite(写时模式),而Hive在load时是不检查数据是否符合schema的,hive遵循的是schemaonread(读时模式),只有在读的时候hive才检查、解析具体的数据字段、schema。读时模式的优势是loaddata非常迅速,因为它不需要读取数据进行解析,仅仅进行文件的复制或者移动。写时模式的优势是提升了查询性能,因为预先解析之后可以对列建立索引,并压缩,但这样也会花费要多的加载时间。下面来看下Hive如何创建内部表:createtabletest(useridstring);LOADDATAINPATH'/tmp/result/20121213'INTOTABLEtestpartition(ptDate='20121213');hadoopfs-ls/tmp/result/20121214Found2items-rw-r--r--3junesupergroup12402012-12-2617:15/tmp/result/20121214/part-00000-rw-r--r--1junesupergroup12402012-12-2617:58/tmp/result/20121214/part-00001--建表createEXTERNALtableIFNOTEXISTStest(useridstring)partitionedby(ptDatestring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';--建立分区表,利用分区表的特性加载多个目录下的文件,并且分区字段可以作为where条件,更为重要的是--这种加载数据的方式是不会移动数据文件的,这点和loaddata不同,后者会移动数据文件至数据仓库目录。altertabletestaddpartition(ptDate='20121214')location'/tmp/result/20121214';--注意目录20121214最后不要画蛇添足加/*,我就是linuxshell用多了,加了这玩意,调试了一下午。。。注意:location后面跟的是目录,不是文件,hive会把整个目录下的文件都加载到表中:1createEXTERNALtableIFNOTEXISTSuserInfo(idint,sexstring,ageint,namestring,emailstring,sdstring,edstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'location'/hive/dw';否则,会报错误:FAILED:Errorinmetadata:MetaException(message:.:Parentpathisnotadirectory:/hive/dw/record_2013-04-,但这样的坏处是只能加载一个数据源了:CREATEEXTERNALTABLEsunwg_test09(idINT,namestring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY‘\t’LOCATION‘/sunwg/test08′;上面的语句创建了一张名字为sunwg_test09的外表,该表有id和name两个字段,字段的分割符为tab,文件的数据文件夹为/sunwg/test08select*fromsunwg_test09;可以查询到sunwg_test09中的数据。在当前用户hive的根目录下找不到sunwg_test09文件夹。此时hive将该表的数据文件信息保存到metadata数据库中。mysql>select*fromTBLSwhereTBL_NAME=’sunwg_test09′;可以看到该表的类型为EXTERNAL_TABLE。mysql>select*fromSDSwhereSD_ID=TBL_ID;在表SDS中记录了表sunwg_test09的数据文件路径为hdfs://hadoop00:9000/hjl/test08。

最近更新

碎石采购合同书书2025年通用 15页

租养鸡场的合同书范本(2025版) 15页

科技创新驱动下的教育行业变革报告 27页

电饭煲批发采购合同书模板(2025版) 16页

知识产权授权许可使用合同书2025年通用 16页

离婚协议书书免费提供2025年通用 12页

石材干挂安装分包合同书2025年通用 15页

离婚协议书书模板自取(2025版) 16页

私人修路过路协议书书2025年通用 14页

青芒果批发协议(范本) 10页

代理销售合同样本 8页

共创部门未来-回顾、规划与实现的过程 28页

简洁版房屋租赁协议- 4页

信息安全保护策略-信息资产安全保护措施 18页

超市瓦工铺设合同 7页

2025年超星尔雅学习通《劳动通论》章节测试带.. 18页

2024辽宁省安全员-C证考试(专职安全员)题库及.. 33页

2025年高校教师资格证之高等教育法规题库带答.. 31页

购物中心装修消防设施协议 7页

社区工作者考试(选择题200题)(b卷) 63页

社区工作者考试试题库300道【word】 92页

租赁土地转让协议书2025年通用 14页

空调安装装修劳务分包合同书(2025版) 15页

策划服务合同书书(2025版) 14页

简单民间个人借款合同书2025年通用 16页

证券公司装修翻新服务合同 7页

为幼儿园家长带来健康知识-儿童健康教育专家 20页

2024江西省安全员B证考试题库及答案(推荐) 32页

装饰合同模板(能源行业) 7页

装修尾款支付协议 6页