文档介绍：金融大数据实验室建设方案建设目标通过建设教师研究生实验室,为本校信息管理学院计算机应用技术、管理科学与工程、情报学三个硕士专业在读研究生和全体教师提供开展人才培养、教学科研的平台、工具和工程实践项目软件。具体建设目标包括:建立用于教师科研使用的大数据计算平台。平台提供满足BI和大数据科研计算要求的硬件和网络环境,同时提供业界主流的数据存储、分析、展现、管理及维护软件和工具。建立用于学生实战训练的软硬件环境。平台提供满足至少50人同时进行项目实战训练的能力。建立用于学生实战训练的BI和大数据分析项目案例库。提供循序渐进的、不同难度层次、不同规模的项目软件建立用于网络和大数据安全的软硬件实训环境建设内容硬件建设硬件建设内容包括:用于大数据计算的服务器集群。应对50人左右的并发,建议采用1台管理服务器,1台控制服务器,4台计算/数据服务器构建的服务器集群。用于网络安全实训环境的硬件和网络设备。用于学生个人学****实训的PC机。网络基础环境,包括交换机、路由器、防火墙等软件和实训项目案例建设为了给学生提供完善、便捷的学****资源,需要建设项目软件等资料库。软件库的建设要求:应结合金融、财经类业务应来源于真实工业级案项目,并做教学化改造应免费提供教学实践指导手册应免费提供师资培训大数据实验室首批构建数据采集、分布式存储、分布式计算三个大数据大型软件项目内容:项目应用场景项目描述数据集成软件从关系型数据库导入到HIVE实现从Oracle到大数据平台的数据迁移实现从MySQL到大数据平台的数据迁移从关系型数据库导入到HBASE实现从MySQL到大数据平台(HBASE)的数据迁移非结构化数据文件导入到HDFS实现将XBRL、PDF等非结构化数据文件(大量小文件)导入到HDFS从HIVE导出到关系型数据库实现数据从大数据平台导出到Oracle实现数据从大数据平台导出到MySQL从HBASE到关系型数据库实现数据从Nosql数据库导出到Oracle网上交易登陆日志分析1)对网上交易登陆日志加工出:客户号、登陆类型、登录时间、登录IP、登录MAC、登录次数、客户端版本、客户端名称、手机号、手机IMEI等信息2)在上述加工信息基础上,对使用相同MAC地址登陆的客户号进行汇总排序3)对指定MAC地址、手机号在全历史记录中进行检索登陆信息手机端系统日志分析1)对手机端日志加工出:手机号码、设备硬件信息、注册时间、软件版本、登录时间、登录设备、登陆版本、登录ip等信息2)在上述加工信息基础上,尝试整理客户年对账单数据分析。把16以年来打开软件次数、客户登录地点分布、登录交易次数、在不同设备登录账户次数、浏览个股数量、下单个股数据、成交个股数量、账户净值走势、资金转入转出、盈亏、理财收益情况,以及在银河客户中的占比和与大盘收益的比较等,为客户一年的投资付出与收益进行总结分布式存储软件非格式化文件加载XBRL、PDF等格式文件(大量小文件)导入到HDFS高并发查询测试模拟500并发,查询某一用户历史账单和最大金额等信息非结构化日志转换为结构化数据hiveserde格式化转换复杂sql和存储过程迁移1、增删改查语法兼容性测试2、TPC-DS标准测试集性能测试3、存储过程迁移批量索引HDFS数据(WORK文档)检索出同时包含“XX银行”和“优化”和“个人网银”的文件对复杂数据全文检索模糊查询对