文档介绍:. .
优选
Hive部表与外部表的区别.
先来说下Hive中部表与外部表的区别:Hive 创立部表时,会将数据移动到数据仓库指向的路径;假设创立外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。这样外部表相对来说更加平安些,数据组织也更加灵活,方便共享源数据。需要注意的是传统数据库对表数据验证是 schema on write〔写时模式〕,而 Hive 在load时是不检查数据是否符合schema的,hive 遵循的是 schema on read〔读时模式〕,只有在读的时候hive才检查、解析具体的数据字段、schema。读时模式的优势是load data 非常迅速,因为它不需要读取数据进展解析,仅仅进展文件的复制或者移动。写时模式的优势是提升了查询性能,因为预先解析之后可以对列建立索引,并压缩,但这样也会花费要多的加载时间。下面来看下 Hive 如何创立部表:
1
create table test(userid string);
2
LOAD DATA INPATH '/tmp/result/20211213' INTO TABLE test partition(ptDate='20211213');
这个很简单,不多说了,下面看下外部表:
01
hadoop fs -ls /tmp/result/20211214
02
Found 2 items
03
-rw-r--r--   3 june supergroup       1240 2021-12-26 17:15 /tmp/result/20211214/part-00000
. .
优选
04
-rw-r--r--   1 june supergroup       1240 2021-12-26 17:58 /tmp/result/20211214/part-00001
05
-- 建表
06
create EXTERNAL table IF NOT EXISTS test (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
07
-- 建立分区表,利用分区表的特性加载多个目录下的文件,并且分区字段可以作为where条件,更为重要的是
08
-- 这种加载数据的方式是不会移动数据文件的,这点和 load data 不同,后者会移动数据文件至数据仓库目录。
09
alter table test add partition (ptDate='20211214') location '/tmp/result/20211214';
. .
优选
-- 注意目录20211214最后不要画蛇添足加 /*,我就是linux shell用多了,加了这玩意,调试了一下午。。。
注意:location后面跟的是目录,不是文件,hive会把整个目录下的文件都加载到表中:
1
create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age int, name string, email string,sd string, ed string)  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/hive/dw';
否那么,会报错误:
FAILED: Error in metadata: MetaException(message:Got exception: : Parent path is not a directory: /hive/dw/record_2021-04-
最后提下还有一种方式是建表的时候就指定外部表的数据源路径,
但这样的害处是只能加载一个数据源了:
CREATE EXTERNAL TABLE sunwg_test09(id INT, name string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘\t’LOCATION ‘/sunwg/test08′;上面的语句创立了一名字为sunwg_test0