文档介绍：: .
公司简介：智友是一个年轻的文化品牌，旗下有多个互联网产品线，覆盖生活方式、音乐、创意，时尚等多个领tring,stylestring,singerNamestring,datestring)rowformatdelimitedfieldsterminatedby‘,';
Loaddatainpath‘NewMusic/music_160320/'intotablemusic_160320;Hive>selectstyle,count(*)frommusic_160320groupbystyle;结果为
Stylecount流行,3
古典,1民谣,1
嘻哈,1摇滚,4
2. 分析APP埋点信息
Json数据结构(){"imei":"864874020839760","phonetype":"huaweip6","phone
system":"","user_name":"周一懵然状","like_music":"我是不是该安静的走开,真的爱你,灰色轨迹"}
{"imei":"864874020839761","phonetype":"huaweip6","phonesystem":"","user_name":"bigbaby","like_music":"Laserlife,简单爱,演员,最冷的一天"}{"imei":"864874020839762","phonetype":"huaweip6","phone
system":"","user_name":"1993058","like_music":‘最好的
我,北国,少年游"}{"imei":"864874020839764","phonetype":"huaweip6","phone
system":"","user_name":"小于一
","like_music":"imagine,respect,heyjude"}
{"imei":"864874020839765","phonetype":"huaweip6","phonesystem":"","user_name":"the
who","like_music":"misty,youreyes,alliwant"}
用spark清洗：
Varmeidian=("hdfs://jun110:9000/user/spark/")
Varqingxi=(”user_name”,”lik)e_music”("hdfs://jun110:9000/user/spark/qingxi","json")
json转化成CSV格式的文件：
周一懵然状,我是不是该安静的走开,真的爱你,灰色轨迹Bigbaby,Laserlife简单爱，演员，最冷的一天
1993058,最好的我,北国,少年游小于一,imagine,respect,heyjude
thewho,misty,youreyes,alliwant9从歌曲库中匹配出歌曲的风格类型
User_name
Like_music
style
周一懵然状
我是不是该安静的走开
流行
周一懵然状
真的爱你
流行
周一懵然状
灰轨迹
流行
Bigbaby
Laserlife
摇滚
Bigbaby
简单爱
流行
Bigbaby
演员
流行
bigbaby
最冷的天
流行
1993058
最好的我
流行
1993058
北国
民谣
1993058
少年游
民谣
小于
imagine
摇滚
小于
Respect
摇滚
小于
Heyjude
摇滚
thewho
misty
轻音乐
thewho
Youreyes
轻音乐
thewho
AllIwant
轻音乐
导入hive进行行转列去除多余字段
Hive>createtableuser_style(user_namestring,music_namestring,stylestring)rowformatdelimitedfieldsterminatedby‘,';
Hive>Loaddatainpath‘user/'intotableuser_style;Hive>selectus