1 / 7
文档名称:

数据分析系统及数据分析方法.docx

格式:docx   大小:25KB   页数:7页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

数据分析系统及数据分析方法.docx

上传人:421989820 2022/6/25 文件大小:25 KB

下载得到文件列表

数据分析系统及数据分析方法.docx

相关文档

文档介绍

文档介绍:数据分析系统及数据分析方法
专利名称:数据分析系统及数据分析方法
技术领域:
本发明涉及数据分析技术领域,尤其涉及一种数据分析系统及数据分析方法。
背景技术:
近几年,由于数据在互联网领域的持续增长,各公司都面临海量数据的处理需求据本发明的另一个方面,还提供了一种数据分析方法,包括待调度任务生成模块根据预先定义的任务参数将收集的数据生成待调度的任务后存储到待调度任务存储模块;任务调度模块从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送;在接收到所述服务器返回的数据后完成对所述任务的数据分析。较佳地,在所述根据加载的任务的任务类型调用相应的任务处理模块之前,还包括所述任务处理模块将加载的任务封装到任务处理线程中;以及所述调用相应的任务处理模块具体为所述任务处理线程在运行过程中根据所述任务的任务类型调用相应的任务处理模块。其中,所述任务调度模块从所述待调度任务存储模块加载待调度的任务具体为所述任务调度模块将待调度的任务加载到调度栈;以及在所述任务调度模块将加载的任务封装到任务处理线程之前,还包括所述任务调度模块监测所述调度栈中各待调度的任务的任务执行时间;从调度栈中取出任务执行时间到达的任务。较佳地,在所述从调度栈中取出任务执行时间到达的任务之后,还包括所述任务调度模块将从所述调度栈中取出的任务转换为任务实例,并将转换的任务实例封装为优先级对象,该优先级对象的优先级是根据该任务的任务属性确定的;所述任务调度模块将所述优先级对象发送到优先级队列模块;所述优先级队列模块在接收到优先级对象后,根据该优先级对象的优先级与所述优先级队列模块中其它优先级对象的优先级进行比较,根据比较结果自动对该优先级对象进行排序;所述任务调度模块从所述优先级队列模块中获取优先级最高的优先级对象;并初始化一个任务处理线程,将获取的优先级对象中的任务实例传至该任务处理线程中;以及,所述调用相应的任务处理模块具体为该任务处理线程调用与所述任务实例中的任务的任务类型相应的任务处理模块。进一步,在所述该任务处理线程调用与所述任务实例中的任务的任务类型相应的任务处理模块后,还包括所述任务调度模块若确定出所述任务实例中的任务的任务类型为顺序任务类型,则从所述待调度任务存储模块中获取跟随该任务的其它任务;所述任务调度模块针对跟随该任务的每个其它任务,分别初始化一个任务处理线程进行携带,由各任务处理线程分别调用相应的任务处理模块。其中,所述任务调度模块针对跟随该任务的每个其它任务,分别初始化一个任务处理线程进行携带,由各任务处理线程分别调用相应的任务处理模块具体包括所述任务调度模块针对所述其它任务中的每个并行任务,并行初始化携带各并行任务的任务处理线程,由各并行初始化后的任务处理线程分别调用相应的任务处理模块。或者,所述任务调度模块针对跟随该任务的每个其它任务,分别初始化一个任务处理线程进行携带,由各任务处理线程分别调用相应的任务处理模块具体包括所述任务调度模块针对跟随该任务的其它任务中的下层级任务,在该任务处理完毕后,初始化携带所述下层级任务的任务处理线程,由该任务处理线程调用相应的任务处理模块。本发明实施例由于

最近更新

2025年度室内设计培训课程合作协议 9页

最严格水资源管理制度 2页

中药外治法(改) 46页

有关国庆节周记集合(5篇) 6页

2025年度宠物店猫咪特色宠物美容与护理服务合.. 9页

高中英语2025届高考读后续写必备佳句(共90句.. 4页

2025年度实习生合同汇编:旅游行业实习生实习.. 8页

2025年度定时打款风险控制及服务质量保障协议.. 8页

2025年度定制化别墅装修设计及设备采购合同 9页

新部编版四年级语文上册第一次月考试卷及答案.. 11页

2025年度宅基地赠与及农村土地确权合同 8页

2025年度宅基地使用权转让与土地租赁合同范本.. 7页

2025年度学生租房合同房屋租赁合同租赁物租赁.. 8页

2025年度学生宿舍安全承诺协议书 8页

2025年度学校食堂炊事员劳务管理与服务合同 9页

2025年度学校教育资源共享平台建设劳务合作合.. 9页

2025年度学校保洁员专业服务劳动合同 8页

汽车旅馆装修服务协议3篇 49页

2025年度婚庆公司婚礼策划及婚礼现场礼仪服务.. 8页

2025年度婚姻关系确立前的财产分割与婚后共同.. 8页

2025年度婚内财产协议:婚前财产界定与婚后财.. 7页

汽车内饰私人运输合同模板3篇 51页

污泥焚烧预处理运输合同3篇 52页

2025年度农机行业人才招聘合同协议书模板 8页

水泥厂砂石料采购协议3篇 54页

水族馆装修居间服务3篇 59页

中考文言文考点梳理与解题指导 42页

水产原料物流协议模板3篇 48页

中考化学复习课件:-专题三-工业流程图题 61页

中考作文开头结尾专项训练 34页