1 / 130
文档名称:

大数据面试题.doc

格式:doc   大小:297KB   页数:130页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据面试题.doc

上传人:fyyouxi23 2022/1/10 文件大小:297 KB

下载得到文件列表

大数据面试题.doc

文档介绍

文档介绍:. .
优选
Hive部表与外部表的区别.
先来说下Hive中部表与外部表的区别:Hive 创立部表时,会将数据移动到数据仓库指向的路径;假设创立外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。这样外部表相对来说更加平安些,数据组织也更加灵活,方便共享源数据。需要注意的是传统数据库对表数据验证是 schema on write〔写时模式〕,而 Hive 在load时是不检查数据是否符合schema的,hive 遵循的是 schema on read〔读时模式〕,只有在读的时候hive才检查、解析具体的数据字段、schema。读时模式的优势是load data 非常迅速,因为它不需要读取数据进展解析,仅仅进展文件的复制或者移动。写时模式的优势是提升了查询性能,因为预先解析之后可以对列建立索引,并压缩,但这样也会花费要多的加载时间。下面来看下 Hive 如何创立部表:
1
create table test(userid string);
2
LOAD DATA INPATH '/tmp/result/20211213' INTO TABLE test partition(ptDate='20211213');
这个很简单,不多说了,下面看下外部表:
01
hadoop fs -ls /tmp/result/20211214
02
Found 2 items
03
-rw-r--r--   3 june supergroup       1240 2021-12-26 17:15 /tmp/result/20211214/part-00000
. .
优选
04
-rw-r--r--   1 june supergroup       1240 2021-12-26 17:58 /tmp/result/20211214/part-00001
05
-- 建表
06
create EXTERNAL table IF NOT EXISTS test (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
07
-- 建立分区表,利用分区表的特性加载多个目录下的文件,并且分区字段可以作为where条件,更为重要的是
08
-- 这种加载数据的方式是不会移动数据文件的,这点和 load data 不同,后者会移动数据文件至数据仓库目录。
09
alter table test add partition (ptDate='20211214') location '/tmp/result/20211214';
. .
优选
-- 注意目录20211214最后不要画蛇添足加 /*,我就是linux shell用多了,加了这玩意,调试了一下午。。。
注意:location后面跟的是目录,不是文件,hive会把整个目录下的文件都加载到表中:
1
create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age int, name string, email string,sd string, ed string)  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/hive/dw';
否那么,会报错误:
FAILED: Error in metadata: MetaException(message:Got exception: : Parent path is not a directory: /hive/dw/record_2021-04-
最后提下还有一种方式是建表的时候就指定外部表的数据源路径,
但这样的害处是只能加载一个数据源了:
CREATE EXTERNAL TABLE sunwg_test09(id INT, name string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘\t’LOCATION ‘/sunwg/test08′;上面的语句创立了一名字为sunwg_test0

最近更新

我的父亲作文汇总【15篇】 13页

我和女娲过春节作文(精选15篇) 14页

快乐的一天作文【优选15篇】 15页

小学生中秋作文500字集合10篇 10页

实用的快乐的新年作文500字锦集5篇 5页

夜晚小学作文(精选15篇) 11页

去姑姑家作文(精选45篇) 21页

关爱让生活更美好作文(通用23篇) 21页

关于描写蚂蚁的作文2篇 3页

人力资源服务业空间集聚组织模式研究 2页

令我感动的作文(15篇) 14页

中秋的夜晚作文300字(通用41篇) 26页

【精选】离婚的协议书范文9篇 15页

【精品】思考人生作文合集5篇 5页

【精华】亲情作文400字7篇 6页

【推荐】生活作文300字10篇 6页

【必备】奋斗目标作文300字4篇 3页

《愚公移山》读后感(精选7篇) 5页

亚洲粉煤灰脱硫石膏处理与利用技术国际大会朔.. 2页

驾驶舱管理方式 113页

首都机场集团公司经营管理人员领导 79页

中医古籍芳香类方药外治数据挖掘系统构建及应.. 2页

东西部发展差距的区域特征及对策选择 2页

专利分析中技术主题分解环节的探究 2页

三维有序孔道结构的壳聚糖二氧化硅复合骨架材.. 2页

七杆双足机器人行走系统动力学研究 2页

一种自动划分三维有限元网格的新方法 2页

一种新型无创测量上臂收缩压的方法 2页

一次霾条件下石家庄上空气溶胶的观测研究 2页

非谓语动词口诀版改最终市公开课一等奖省赛课.. 60页