1 / 110
文档名称:

2021年大数据面试题.doc

格式:doc   大小:891KB   页数:110页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

2021年大数据面试题.doc

上传人:读书之乐 2021/1/17 文件大小:891 KB

下载得到文件列表

2021年大数据面试题.doc

相关文档

文档介绍

文档介绍:Hive内部表和外部表区分?
先来说下Hive中内部表和外部表区分: 
Hive 创建内部表时,会将数据移动到数据仓库指向路径;若创建外部表,仅统计数据所在路径, 
不对数据位置做任何改变。在删除表时候,内部表元数据和数据会被一起删除, 
而外部表只删除元数据,不删除数据。这么外部表相对来说愈加安全些,数据组织也愈加灵活,方便共享源数据。 
需要注意是传统数据库对表数据验证是 schema on write(写时模式),而 Hive 在load时是不检验数据是否 
符合schema,hive 遵照是 schema on read(读时模式),只有在读时候hive才检验、解析具体 
数据字段、schema。 
读时模式优势是load data 很快速,因为它不需要读取数据进行解析,仅仅进行文件复制或移动。 
写时模式优势是提升了查询性能,因为预先解析以后能够对列建立索引,并压缩,但这么也会花费要多加载时间。 
下面来看下 Hive 怎样创建内部表: 
1
create table test(userid string);
2
LOAD DATA INPATH '/tmp/result/1213' INTO TABLE test partition(ptDate='1213');
这个很简单,不多说了,下面看下外部表: 
01
hadoop fs -ls /tmp/result/1214
02
Found 2 items
03
-rw-r--r--   3 june supergroup       1240 -12-26 17:15 /tmp/result/1214/part-00000
04
-rw-r--r--   1 june supergroup
       1240 -12-26 17:58 /tmp/result/1214/part-00001
05
-- 建表
06
create EXTERNAL table IF NOT EXISTS test (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
07
-- 建立分区表,利用分区表特征加载多个目录下文件,而且分区字段能够作为where条件,更为关键是
08
-- 这种加载数据方法是不会移动数据文件,这点和 load data 不一样,后者会移动数据文件至数据仓库目录。
09
alter table test add partition (ptDate='1214') location '/tmp/result/1214';
-- 注意目录1214最终不要画蛇添足加 /*,我就是linux shell用多了,加了这玩意,调试了一下午。。。
注意:location后面跟是目录,不是文件,hive会把整个目录下文件全部加载到表中:
1
create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age int, name string, email string,sd string, ed string)  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/hive/dw';
不然,会报错误:
FAILED: Error in metadata: MetaException(message:Got exception: : Parent path is not a directory: /hive/dw/record_-04-
最终提下还有一个方法是建表时候就指定外部表数据源路径,
但这么坏处是只能加载一个数据源了:
CREATE EXTERNAL TABLE sunwg_test09(id INT, name string) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ‘\t’ 
LOCATION ‘/sunwg/test08′; 
上面语句创建了一张名字为sunwg_test09外表,该表有id和name两个字段, 
字段分割符为tab,文件数据文件夹为/sunwg/test08 
select * from sunwg_test09; 

最近更新