文档介绍:Impala与Hbase整合使用说明
目录
Impala 与 Hbase 整合彳吏用说I明 1
一、 UDH环境集成配置 1
二、 Hive I决射己存在白勺Hbase 表 2
三、 使用impala 验证映射自勺Hbase 表 baidu_axtides ( rkey STRING, siteNarne STRING, publishTime STRING, url STRING, title STRING, keywords STRING, content STRING, addTime STRING ) ROW FORMAT SERDE 'org・ apach©•hadoop ・ ©' stored by '・hadoop・' with SERDEPROPERTIES(
"hbase. columns .mapping" 二 ":keyr baidu_ar tides : siteName, baidu_axtides : ublishTirae, baida_ar tides : urlr baidu_articles: title, baidu_articles: keywords, baid ^articles:content,baidu_ax ticle s:addTimGw )
TBLPROPERTIES(******@. 二 ninfo_public_monitorM);
上面DDL语句中,在WITH SERDEPROPERTIES选项中指定Hive外部表字 段到HBase列的映射,其中、':key”对应于HBase中的RowKey,名称为''「key", 其余的就是列簇info中的列名。最后在TBLPROPERTIES中指定了 HBase中要 进行映射的表名。
三、使用impala验证映射的Hbase表
Impala共享Hive的Metastore,这时需要同步元数据,可以通过在Hue中 impala查询界面执行同步命令:
INVALIDATE METADATA;
然后,就可以查看到映射HBase中表的结构:
DESCRIBE info_baidu_artides
一 一
0
rkey
stnng
1
addtime
sin ng
2
content
stnng
3
ke/AWds
string
4
pubiishtime
string
5
srteoame
sin ng
6
title
sin ng
7
uri
敛nng
name
type
comment
通过上面三步,我们就完成了 Hive和HBase的集成配置
四、常见问题汇总
,原因hive没有指定hbase的连接地址
: . TTransportExcaptxcn
at org. apacho .thrift. transport - TSanlSorvorTran«port$