1 / 7
文档名称:

数据分析系统及数据分析方法.docx

格式:docx   大小:25KB   页数:7页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

数据分析系统及数据分析方法.docx

上传人:421989820 2022/6/25 文件大小:25 KB

下载得到文件列表

数据分析系统及数据分析方法.docx

相关文档

文档介绍

文档介绍:数据分析系统及数据分析方法
专利名称:数据分析系统及数据分析方法
技术领域:
本发明涉及数据分析技术领域,尤其涉及一种数据分析系统及数据分析方法。
背景技术:
近几年,由于数据在互联网领域的持续增长,各公司都面临海量数据的处理需求据本发明的另一个方面,还提供了一种数据分析方法,包括待调度任务生成模块根据预先定义的任务参数将收集的数据生成待调度的任务后存储到待调度任务存储模块;任务调度模块从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送;在接收到所述服务器返回的数据后完成对所述任务的数据分析。较佳地,在所述根据加载的任务的任务类型调用相应的任务处理模块之前,还包括所述任务处理模块将加载的任务封装到任务处理线程中;以及所述调用相应的任务处理模块具体为所述任务处理线程在运行过程中根据所述任务的任务类型调用相应的任务处理模块。其中,所述任务调度模块从所述待调度任务存储模块加载待调度的任务具体为所述任务调度模块将待调度的任务加载到调度栈;以及在所述任务调度模块将加载的任务封装到任务处理线程之前,还包括所述任务调度模块监测所述调度栈中各待调度的任务的任务执行时间;从调度栈中取出任务执行时间到达的任务。较佳地,在所述从调度栈中取出任务执行时间到达的任务之后,还包括所述任务调度模块将从所述调度栈中取出的任务转换为任务实例,并将转换的任务实例封装为优先级对象,该优先级对象的优先级是根据该任务的任务属性确定的;所述任务调度模块将所述优先级对象发送到优先级队列模块;所述优先级队列模块在接收到优先级对象后,根据该优先级对象的优先级与所述优先级队列模块中其它优先级对象的优先级进行比较,根据比较结果自动对该优先级对象进行排序;所述任务调度模块从所述优先级队列模块中获取优先级最高的优先级对象;并初始化一个任务处理线程,将获取的优先级对象中的任务实例传至该任务处理线程中;以及,所述调用相应的任务处理模块具体为该任务处理线程调用与所述任务实例中的任务的任务类型相应的任务处理模块。进一步,在所述该任务处理线程调用与所述任务实例中的任务的任务类型相应的任务处理模块后,还包括所述任务调度模块若确定出所述任务实例中的任务的任务类型为顺序任务类型,则从所述待调度任务存储模块中获取跟随该任务的其它任务;所述任务调度模块针对跟随该任务的每个其它任务,分别初始化一个任务处理线程进行携带,由各任务处理线程分别调用相应的任务处理模块。其中,所述任务调度模块针对跟随该任务的每个其它任务,分别初始化一个任务处理线程进行携带,由各任务处理线程分别调用相应的任务处理模块具体包括所述任务调度模块针对所述其它任务中的每个并行任务,并行初始化携带各并行任务的任务处理线程,由各并行初始化后的任务处理线程分别调用相应的任务处理模块。或者,所述任务调度模块针对跟随该任务的每个其它任务,分别初始化一个任务处理线程进行携带,由各任务处理线程分别调用相应的任务处理模块具体包括所述任务调度模块针对跟随该任务的其它任务中的下层级任务,在该任务处理完毕后,初始化携带所述下层级任务的任务处理线程,由该任务处理线程调用相应的任务处理模块。本发明实施例由于

最近更新

2025年度建筑工程项目管理外包协议 7页

2025年度店汽车销售合同范本,包含个性化定制.. 9页

2025年度幼儿园租赁合同执行细则 8页

2025年度年劳动合同法版环保材料研发合作协议.. 9页

2025年度工艺品购销与市场调研合作合同 9页

2025年度工业用气体节能环保技术研发合同 9页

2025年度岁以上员工劳动保护及安全生产协议 8页

2025年度展览道具制作及展厅布置合同 9页

2025年度少儿题材电视剧编剧聘用合同范本 9页

2025年度家电产品买卖合同标准范本 9页

建设工程设计合同一示范文本(doc11) 11页

2025年度家庭装修施工安全责任协议书 8页

技术转让专利实施许可合同 11页

2025年度家具仓储物流购销合同最优化配送方案.. 8页

2025年度宠物教育培训与个人购买合同 9页

2025年度宅基地使用权转让及农村土地经营权流.. 9页

中职数学课件直线的倾斜角与斜率 34页

2025年度婚礼细节婚后夫妻情感维护管理合同 9页

2025年度婚内离婚协议书及婚内财产保全协议 7页

水路摩托车运输合同模板3篇 52页

水利工程渣土运输合同范本3篇 50页

民航包机旅客运输协议3篇 61页

橡塑制品海运合同标准模板3篇 53页

桌球室装修标准合同样本3篇 52页

村委会图书馆装修合同3篇 55页

职场面试自我介绍 7页

在家表现家长评语 3页

两位数加减两位数 15页

2025年建筑土石方运输合同范本 10页

2025年(完整版)《人力资源管理》试题及答案 7页