文档介绍：我在我们公司前期主要负责编写mr清洗数据，将结构化的数据导入hive数据仓库中，编
教育背景
时间：2012-09至U2016-06
学校：XX理工大学I专业：计算机科学与技术I学历：本科
工作经历
工作时间：2016-06至我在我们公司前期主要负责编写mr清洗数据，将结构化的数据导入hive数据仓库中，编
教育背景
时间：2012-09至U2016-06
学校：XX理工大学I专业：计算机科学与技术I学历：本科
工作经历
工作时间：2016-06至U2017-06
公司名称：xx市品汇科技有限公司|所在部门：|所在岗位：大数据分析师
工作描述：
我们公司的数据主要来源是web的日志数据，app端的行为数据，埋点数据，其他大型旅
游网站的爬虫数据和我们公司本地数据库中的数据。然后我们将web中的产生的日志数据
通过flume抽取到kafka中，通过sparkstreaming进行实时清洗，将日志字段全部打散
并按需求进行特定格式转换，然后把清洗过的数据和kafka中的数据投递到HDFS中按照
业务需求做mr清洗，清洗后的数据导入到hive仓库中用hql做数据分析，最后将结果数
据分别导入到hbase数据仓库中和本地数据库中供续部门等进行调用，最后由展示人员将数据形成报表在前端展现。
整个项目组由12个人组成，数据收集组（2人）、数据清洗组（2人）、数据分析组（3人）、数据建模组（3人）、运维组（2人）。
我是属于数据分析组，主要负责用hive对数据的分析工作。有时也会干一些数据清洗工作。根据需求用mr清洗出我们所需要的字段，例如IP地址访客用户信息日期目录响应码
访客来源的URL访问所用设备等字段。然后导入到hive中用Hql进行分析。
我在我们公司前期主要负责编写mr清洗数据，将结构化的数据导入hive数据仓库中，编
写hql对数据进行多维度分析，还用到了Hbaserowkey的设计和表格的建模。。后期我
主要负责数据的管理，用hive和spark对数据进行日常分析，配合建模组的工作。
工作时间：2010-07到2017-07
公司名称：XX通信信息报社有限责任公司|所在部门：|所在岗位：大数据分析师、网
络舆情
工作描述：
2010年7月~2017年7月在xx通信信息报社工作，担任过编辑、记者，以及分别担任过
鹰眼舆情（中国电信互联网大数据产品）内容运营、产品运营和市场拓展负责人，拥有多年
的传媒与互联网工作经验，熟悉传统媒体与微信微博论坛等自媒体传播、运营规律，熟悉网
络数据挖掘和分析、宣传效果评估和危机公关，熟悉互联网产品、手机APP项目运营管理。其中：—、采访记者，每周2篇原创报纸稿件，熟悉新闻报道、人
物采访和企业宣传等各类文章写作
—，先后负责中国通信业、国资央企、20多家政府机关舆情报
告，曾赴国资委新闻中心驻点，熟悉网络信息检索和分类、传播特点分析以及正向舆论引导
—，负责舆情产品市场调研、PC及APP产品策划、政府企业信
息化项目解决方案编制、数据运维及产品优化、客户需求分析及投诉解答，熟悉互联网产品
运营和管理
我在我们公司前期主要负责