1 / 86
文档名称:

大数据面试题.doc

格式:doc   大小:1,824KB   页数:86页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据面试题.doc

上传人:今晚不太方便 2017/8/13 文件大小:1.78 MB

下载得到文件列表

大数据面试题.doc

文档介绍

文档介绍:Hive内部表与外部表的区别?
先来说下Hive中内部表与外部表的区别: 
Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径, 
不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除, 
而外部表只删除元数据,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。 
需要注意的是传统数据库对表数据验证是 schema on write(写时模式),而 Hive 在load时是不检查数据是否 
符合schema的,hive 遵循的是 schema on read(读时模式),只有在读的时候hive才检查、解析具体的 
数据字段、schema。 
读时模式的优势是load data 非常迅速,因为它不需要读取数据进行解析,仅仅进行文件的复制或者移动。 
写时模式的优势是提升了查询性能,因为预先解析之后可以对列建立索引,并压缩,但这样也会花费要多的加载时间。 
下面来看下 Hive 如何创建内部表: 
1
create table test(userid string);
2
LOAD DATA INPATH '/tmp/result/20121213' INTO TABLE test partition(ptDate='20121213');
这个很简单,不多说了,下面看下外部表: 
01
hadoop fs -ls /tmp/result/20121214
02
Found 2 items
03
-rw-r--r--   3 june supergroup       1240 2012-12-26 17:15 /tmp/result/20121214/part-00000
04
-rw-r--r--   1 june supergroup       1240 2012-12-26 17:58 /tmp/result/20121214/part-00001
05
-- 建表
06
create EXTERNAL table IF NOT EXISTS test (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
07
-- 建立分区表,利用分区表的特性加载多个目录下的文件,并且分区字段可以作为where条件,更为重要的是
08
-- 这种加载数据的方式是不会移动数据文件的,这点和 load data 不同,后者会移动数据文件至数据仓库目录。
09
alter table test add partition (ptDate=
'20121214') location '/tmp/result/20121214';
-- 注意目录20121214最后不要画蛇添足加/*,我就是linux shell用多了,加了这玩意,调试了一下午。。。
注意:location后面跟的是目录,不是文件,hive会把整个目录下的文件都加载到表中:
1
create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age int, name string, email string,sd string, ed string)  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/hive/dw';
否则,会报错误:
FAILED: Error in metadata: MetaException(message:Got exception: : Parent path is not a directory: /hive/dw/record_2013-04-
最后提下还有一种方式是建表的时候就指定外部表的数据源路径,
但这样的坏处是只能加载一个数据源了:
CREATE EXTERNAL TABLE sunwg_test09(id INT, name string) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ‘\t’ 
LOCATION ‘/sunwg/test08′; 
上面的语句创建了一张名字为sunwg_test09的外表,该表有id和name两个字段, 
字段的分割符为tab,文件的数据文件夹为/sunwg/t

最近更新

节后复工安全检查表 3页

沿着社会主义大道奔前方歌词串词朗诵词 2页

二年级上册《妈妈睡了》教案 5页

物理实验探究弹力和弹簧伸长的关系新人教版必.. 25页

环境科学概论第七章学习辅导材料 6页

人教版六年级比和比例单元测试题(含答案) 3页

护理部危重病人质量监测指标 2页

浙江大学分析化学 3滴定分析概述0705公开课一.. 23页

毒性固体废物处理时间 2页

二零二四年度离婚协议起草与婚姻财产分割及子.. 15页

二零二四年度绿色建筑项目报建合同——节能减.. 17页

优秀班主任评选方案 4页

二零二四年度职业健康安全评价技术服务协议 15页

二零二四年度航空航天材料采购合同范本 17页

二零二四年度茶叶产品研发与创新能力提升合同.. 17页

二零二四年度茶庄茶叶种植基地茶叶产业扶贫与.. 15页

二零二四年度财务顾问合作协议范本 13页

新加坡中航油事件 3页

教师应该怎样听课和评课 3页

天使的翅膀串词主持人开场白;天使的翅膀歌词 3页

二零二四年度重点工程安全施工合同协议书 15页

二零二四年度铁路材料运输合同规范范本 14页

二零二四年度食品原料采购合同范本与采购流程.. 12页

二零二四年度食品安全采购合同及销售合同 15页

二零二四年度餐饮业绿色环保与可持续发展服务.. 17页

二零二四年度餐饮行业挂账服务质量监控合同 15页

房屋修缮工程施工组织设计 54页

二零二四年度高端企业搬迁服务合同协议书 14页

性命双修养生延寿法-牛金宝著 4页

补办电话卡委托书 5页