1 / 110
文档名称:

2021年大数据面试题.doc

格式:doc   大小:891KB   页数:110页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

2021年大数据面试题.doc

上传人:读书之乐 2021/1/17 文件大小:891 KB

下载得到文件列表

2021年大数据面试题.doc

相关文档

文档介绍

文档介绍:Hive内部表和外部表区分?
先来说下Hive中内部表和外部表区分: 
Hive 创建内部表时,会将数据移动到数据仓库指向路径;若创建外部表,仅统计数据所在路径, 
不对数据位置做任何改变。在删除表时候,内部表元数据和数据会被一起删除, 
而外部表只删除元数据,不删除数据。这么外部表相对来说愈加安全些,数据组织也愈加灵活,方便共享源数据。 
需要注意是传统数据库对表数据验证是 schema on write(写时模式),而 Hive 在load时是不检验数据是否 
符合schema,hive 遵照是 schema on read(读时模式),只有在读时候hive才检验、解析具体 
数据字段、schema。 
读时模式优势是load data 很快速,因为它不需要读取数据进行解析,仅仅进行文件复制或移动。 
写时模式优势是提升了查询性能,因为预先解析以后能够对列建立索引,并压缩,但这么也会花费要多加载时间。 
下面来看下 Hive 怎样创建内部表: 
1
create table test(userid string);
2
LOAD DATA INPATH '/tmp/result/1213' INTO TABLE test partition(ptDate='1213');
这个很简单,不多说了,下面看下外部表: 
01
hadoop fs -ls /tmp/result/1214
02
Found 2 items
03
-rw-r--r--   3 june supergroup       1240 -12-26 17:15 /tmp/result/1214/part-00000
04
-rw-r--r--   1 june supergroup
       1240 -12-26 17:58 /tmp/result/1214/part-00001
05
-- 建表
06
create EXTERNAL table IF NOT EXISTS test (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
07
-- 建立分区表,利用分区表特征加载多个目录下文件,而且分区字段能够作为where条件,更为关键是
08
-- 这种加载数据方法是不会移动数据文件,这点和 load data 不一样,后者会移动数据文件至数据仓库目录。
09
alter table test add partition (ptDate='1214') location '/tmp/result/1214';
-- 注意目录1214最终不要画蛇添足加 /*,我就是linux shell用多了,加了这玩意,调试了一下午。。。
注意:location后面跟是目录,不是文件,hive会把整个目录下文件全部加载到表中:
1
create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age int, name string, email string,sd string, ed string)  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/hive/dw';
不然,会报错误:
FAILED: Error in metadata: MetaException(message:Got exception: : Parent path is not a directory: /hive/dw/record_-04-
最终提下还有一个方法是建表时候就指定外部表数据源路径,
但这么坏处是只能加载一个数据源了:
CREATE EXTERNAL TABLE sunwg_test09(id INT, name string) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ‘\t’ 
LOCATION ‘/sunwg/test08′; 
上面语句创建了一张名字为sunwg_test09外表,该表有id和name两个字段, 
字段分割符为tab,文件数据文件夹为/sunwg/test08 
select * from sunwg_test09; 

最近更新

委托代驾服务协议书(2025版) 14页

【热门】难忘的细节作文合集10篇 12页

【热门】樱花作文5篇 5页

【热门】学会感恩的作文汇编2篇 3页

【热】观察蚂蚁作文9篇 8页

八年级政治向自己的目标迈进2公开课一等奖课件.. 19页

【推荐】捉蚂蚁作文4篇 3页

人教版二年级语文上册期中考试题(附答案) 5页

学前教育大一z职业规划与设计 5页

【必备】花生命的作文3篇 3页

【必备】柳树作文300字(精选40篇) 23页

【必备】厦门作文300字6篇 4页

【实用】蚂蚁作文汇总5篇 5页

优化方案 高考化学二轮专题复习广东专用 专题.. 55页

【实用】八年级优秀作文锦集9篇 11页

《生命的药方》教学设计5篇 16页

《十五夜望月》改写作文(精选21篇) 12页

[合集]中秋作文4篇 3页

2025秋季运动会闭幕式新闻稿(精选12篇) 13页

(精华)我的课余生活作文15篇 8页

学术答辩:专科学历-展示专业知识和实践能力 21页

二次根式的乘除(2).苏科版公开课一等奖课件赛.. 18页

基于科学的教育改革-推动科学化教育 24页

夫妻家庭财产分割协议(2025版) 18页

委托咨询顾问服务合同书2025年通用 15页

委托缴纳社会保险协议(2025版) 11页

婚姻咨询服务协议2025年通用 15页

存量房屋承购经纪服务合同2025年通用 13页

学校承包食堂合同范本(2025版) 13页

培养学生的创业精神-创业指导老师的演讲稿 23页