1 / 130
文档名称:

大数据面试题.doc

格式:doc   大小:297KB   页数:130页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据面试题.doc

上传人:fyyouxi23 2022/1/10 文件大小:297 KB

下载得到文件列表

大数据面试题.doc

文档介绍

文档介绍:. .
优选
Hive部表与外部表的区别.
先来说下Hive中部表与外部表的区别:Hive 创立部表时,会将数据移动到数据仓库指向的路径;假设创立外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。这样外部表相对来说更加平安些,数据组织也更加灵活,方便共享源数据。需要注意的是传统数据库对表数据验证是 schema on write〔写时模式〕,而 Hive 在load时是不检查数据是否符合schema的,hive 遵循的是 schema on read〔读时模式〕,只有在读的时候hive才检查、解析具体的数据字段、schema。读时模式的优势是load data 非常迅速,因为它不需要读取数据进展解析,仅仅进展文件的复制或者移动。写时模式的优势是提升了查询性能,因为预先解析之后可以对列建立索引,并压缩,但这样也会花费要多的加载时间。下面来看下 Hive 如何创立部表:
1
create table test(userid string);
2
LOAD DATA INPATH '/tmp/result/20211213' INTO TABLE test partition(ptDate='20211213');
这个很简单,不多说了,下面看下外部表:
01
hadoop fs -ls /tmp/result/20211214
02
Found 2 items
03
-rw-r--r--   3 june supergroup       1240 2021-12-26 17:15 /tmp/result/20211214/part-00000
. .
优选
04
-rw-r--r--   1 june supergroup       1240 2021-12-26 17:58 /tmp/result/20211214/part-00001
05
-- 建表
06
create EXTERNAL table IF NOT EXISTS test (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
07
-- 建立分区表,利用分区表的特性加载多个目录下的文件,并且分区字段可以作为where条件,更为重要的是
08
-- 这种加载数据的方式是不会移动数据文件的,这点和 load data 不同,后者会移动数据文件至数据仓库目录。
09
alter table test add partition (ptDate='20211214') location '/tmp/result/20211214';
. .
优选
-- 注意目录20211214最后不要画蛇添足加 /*,我就是linux shell用多了,加了这玩意,调试了一下午。。。
注意:location后面跟的是目录,不是文件,hive会把整个目录下的文件都加载到表中:
1
create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age int, name string, email string,sd string, ed string)  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/hive/dw';
否那么,会报错误:
FAILED: Error in metadata: MetaException(message:Got exception: : Parent path is not a directory: /hive/dw/record_2021-04-
最后提下还有一种方式是建表的时候就指定外部表的数据源路径,
但这样的害处是只能加载一个数据源了:
CREATE EXTERNAL TABLE sunwg_test09(id INT, name string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘\t’LOCATION ‘/sunwg/test08′;上面的语句创立了一名字为sunwg_test0

最近更新

常见精神障碍课件 73页

关于对油田地面工程安装安全管理的研究与探讨.. 2页

人教版教学课件细胞中的无机物-水和无机盐 25页

《胰岛素的临床应用》 20页

关于如何提高腐植酸企业基本素质问题的探讨 2页

2025年第六章 脑血管认知功能障碍解析 31页

关于大型煤炭企业开展期货交易优势和方式的研.. 2页

2025年积极心理学教学指南与影视案例解析 15页

2025年睡眠与觉醒机制深度解析 63页

关于图书馆工作重心转移问题的思考 2页

关于国际大循环与沿海发展战略的再思考 2页

关于固定资产使用价值扩大比率的计算和分析 2页

《学习型组组织理论》 38页

关于吸热式发生器几个问题的探讨 2页

2025年下肢淋巴循环障碍解析 34页

关于变压器气体分析的判断准则 2页

2025年男童疾病风险与同龄病发率分析 10页

工程制图第七章-组合体的视图 69页

关于化工压力容器安全控制策略的研究 2页

2025年牙齿根管治疗全解析 71页

工作计划的制定与执行 74页

关于制图与建库数据一体化生产的探讨 2页

关于创立社会主义固定资产投资学的若干问题探.. 2页

2025年安徽省初中学业水平考试名校联考(一)数.. 2页

初三毕业班2025届中考数学复习计划2 5页

2023-2024学年度人教版小升初小学数学考试卷 4页

篮球比赛计分表版 2页

大学生挑战杯申报书模板 10页

咸阳市住房公积金提取申请表 2页

种养殖业可行性报告 7页