文档介绍：公司简介:
智友是一个年轻的文化品牌,旗下有多个互联网产品线,覆盖生活方式、音乐、创意,时尚等多个领域。
致力发展为最大的年轻人文化出版与发行渠道,挖掘文化领域的年轻力量。旗下产品音乐软件“xxx”是时下最流行的音乐App,首创弹幕评论交友,独特3D音乐颠覆你的听觉体验。上线短短数月就受到了百万音乐发烧友的喜爱和追捧,苹果商店音乐免费榜长期稳居前五。
公司业务:
发现你不知道的好听音乐、3D立体声音(雨声、场景立体特效声)、趣味声音。
首创声音/音乐弹幕评论,让你感觉不再是一个人听歌!从未有过的听觉社交体验。
随时随地录下生活中的精彩,录音变声、拍照变形统统有。
制作酷炫的有声表情,和朋友聊天显得更萌萌哒。
遇见音乐/声音大咖,轻松结识跟你喜欢同一首歌/音频的朋友。
根据你的听歌风格定制属于你的首页歌曲和推荐歌曲。
根据歌曲收听量排出每种歌曲类型的热门歌曲。
用户录制自己的MV和歌曲上传到echo让更多的音乐爱好者认识你。
,好友圈,看看你的朋友都在聊什么听什么。
项目需求:
用户画像,根据听歌风格,每天在线时间,用户收藏了哪些歌曲,总是跳过播放哪些歌曲,来给用户打标签。
,每类歌曲新增数。
。
,MV的数量。
,MV的收听和点击率情况进行分析统计。
。
。
,android,ios占比度。
,来决定公司需要引进哪些类型的歌曲。
,统计用户圈中讨论最多的热词。
。
项目架构:
从手机客户端APP,PC,网页中收集用户信息,听歌信息,上传的歌曲。
通过kafka推送给mr或spark清洗。
重用kafka作为缓存,缓存把数据存储到HDFS上。
通过hive进行分析计算。
计算结果保存到hbase和mysql中。
HBase中的数据可以做用户推荐,热度排行,mysql可以共用户查看个人资料和好友信息,等级等。
需求设计:
从埋点日志导出用户听歌信息,用spark清洗出用户听了哪些歌曲,收藏了哪些歌曲,整理出用户喜好的歌曲是哪些风格,把这些风格写到mysql用户信息表相关联的用户歌曲风格表里。
用HIVE对HDFS上的每天上线的歌曲做分类统计每类新增数量。
从mysql查看用户的喜好歌曲标签,然后在歌曲库中找到对应的分类歌曲推荐给用户。
利用spark把用户上传的歌曲从HDFS上导入进来进行一个求和操作,把结果直接导入hbase中。
从mysql中的用户注册表中通过注册时间过滤出今天注册的用户,然后进行求和操作,在今天注册的用户中按照字段“会员”条件查找会员用户求和。
设计实现:
从HDFS里导入hive每天分类好的歌曲
每日新增歌曲数量表
字段中文名
字段英文名
字段类型
Id
编号
Int
songName
歌曲名
String
singername
歌手名
String
Style
曲风
String
Date
时间
String
1,演员,薛之谦, 流行,2016-3-20
2,告白气球,周杰伦,流行,2016-3-20
3,成都,赵雷,流行,016-3-20
4,espana cani,andre rieu,古典,2016-3-20
5,小桃红,汤旭,民谣,2016-3-20
6,everything,wrld,嘻哈,2016-3-20
7,wake,free,摇滚,2016-3-20
8,长安长安,郑钧,摇滚,2016-3-20
9,love is a killer,vixen,摇滚,2016-3-20
10,I remember,dokken,摇滚,2016-3-20
在HIVA下建一个歌曲表
Create table music_160320(id int,songName string,style string,singerName string,date string)row format delimited fields terminated by ‘,’;
Load data inpath ‘NewMusic/music_160320/’ into table music_160320;
Hive>select style,count(*) from music_160320 group by