1 / 7
文档名称:

数据分析系统及数据分析方法.docx

格式:docx   大小:25KB   页数:7页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

数据分析系统及数据分析方法.docx

上传人:421989820 2022/6/25 文件大小:25 KB

下载得到文件列表

数据分析系统及数据分析方法.docx

相关文档

文档介绍

文档介绍:数据分析系统及数据分析方法
专利名称:数据分析系统及数据分析方法
技术领域:
本发明涉及数据分析技术领域,尤其涉及一种数据分析系统及数据分析方法。
背景技术:
近几年,由于数据在互联网领域的持续增长,各公司都面临海量数据的处理需求据本发明的另一个方面,还提供了一种数据分析方法,包括待调度任务生成模块根据预先定义的任务参数将收集的数据生成待调度的任务后存储到待调度任务存储模块;任务调度模块从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送;在接收到所述服务器返回的数据后完成对所述任务的数据分析。较佳地,在所述根据加载的任务的任务类型调用相应的任务处理模块之前,还包括所述任务处理模块将加载的任务封装到任务处理线程中;以及所述调用相应的任务处理模块具体为所述任务处理线程在运行过程中根据所述任务的任务类型调用相应的任务处理模块。其中,所述任务调度模块从所述待调度任务存储模块加载待调度的任务具体为所述任务调度模块将待调度的任务加载到调度栈;以及在所述任务调度模块将加载的任务封装到任务处理线程之前,还包括所述任务调度模块监测所述调度栈中各待调度的任务的任务执行时间;从调度栈中取出任务执行时间到达的任务。较佳地,在所述从调度栈中取出任务执行时间到达的任务之后,还包括所述任务调度模块将从所述调度栈中取出的任务转换为任务实例,并将转换的任务实例封装为优先级对象,该优先级对象的优先级是根据该任务的任务属性确定的;所述任务调度模块将所述优先级对象发送到优先级队列模块;所述优先级队列模块在接收到优先级对象后,根据该优先级对象的优先级与所述优先级队列模块中其它优先级对象的优先级进行比较,根据比较结果自动对该优先级对象进行排序;所述任务调度模块从所述优先级队列模块中获取优先级最高的优先级对象;并初始化一个任务处理线程,将获取的优先级对象中的任务实例传至该任务处理线程中;以及,所述调用相应的任务处理模块具体为该任务处理线程调用与所述任务实例中的任务的任务类型相应的任务处理模块。进一步,在所述该任务处理线程调用与所述任务实例中的任务的任务类型相应的任务处理模块后,还包括所述任务调度模块若确定出所述任务实例中的任务的任务类型为顺序任务类型,则从所述待调度任务存储模块中获取跟随该任务的其它任务;所述任务调度模块针对跟随该任务的每个其它任务,分别初始化一个任务处理线程进行携带,由各任务处理线程分别调用相应的任务处理模块。其中,所述任务调度模块针对跟随该任务的每个其它任务,分别初始化一个任务处理线程进行携带,由各任务处理线程分别调用相应的任务处理模块具体包括所述任务调度模块针对所述其它任务中的每个并行任务,并行初始化携带各并行任务的任务处理线程,由各并行初始化后的任务处理线程分别调用相应的任务处理模块。或者,所述任务调度模块针对跟随该任务的每个其它任务,分别初始化一个任务处理线程进行携带,由各任务处理线程分别调用相应的任务处理模块具体包括所述任务调度模块针对跟随该任务的其它任务中的下层级任务,在该任务处理完毕后,初始化携带所述下层级任务的任务处理线程,由该任务处理线程调用相应的任务处理模块。本发明实施例由于

最近更新

行政管理毕业论文总结范文(3) 4页

20g锅炉钢的微钛处理在生产中的应用 2页

2013年12月十大重要安全漏洞分析 2页

机械设计制造及其自动化专业导论论文(参考版).. 5页

博思堂-佳湖花园调整攻击执行计划 27页

新能源与环境保护演讲稿 6页

数据挖掘在市场营销中的应用案例分享 4页

扁平化组织结构对人力资源管理的影响 5页

成都体育学院论文全文格式 4页

开题报告专家评议要点 6页

工商管理毕业论文完整版 3页

工会在企业的作用 4页

对所在岗位部门和公司的认识要求和建议 4页

第一章概述《环境保护概论魏振枢杨永杰主 36页

基于KPI的绩效考核总结 3页

城市园林绿化管理的问题与对策 3页

国有企业改革的影响与应对策略 4页

国内外对绩效考核研究的现状知识讲解 5页

哲学论文题目哲学毕业论文 6页

单位管理制度推荐大合集[人事管理]十 6页

医院人力资源管理分析(3)-资源管理论文-管理论.. 4页

化学原理在科技创新和产业升级中的推动 6页

共享经济模式下平台型企业财税问题分析 6页

公司人力资源管理制度范文大合集 5页

健身武术操对中小学生身心健康发展的研究开题.. 7页

《社区护理概论》 31页

会计类专业毕业论文参考题目-共320个 4页

企业集团的财务管理论文5[五范例] 4页

企业绩效管理与考核中存在的问题与对策 4页

采购部管理方案ppt 43页