1 / 7
文档名称:

数据分析系统及数据分析方法.docx

格式:docx   大小:25KB   页数:7页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

数据分析系统及数据分析方法.docx

上传人:421989820 2022/6/25 文件大小:25 KB

下载得到文件列表

数据分析系统及数据分析方法.docx

相关文档

文档介绍

文档介绍:数据分析系统及数据分析方法
专利名称:数据分析系统及数据分析方法
技术领域:
本发明涉及数据分析技术领域,尤其涉及一种数据分析系统及数据分析方法。
背景技术:
近几年,由于数据在互联网领域的持续增长,各公司都面临海量数据的处理需求据本发明的另一个方面,还提供了一种数据分析方法,包括待调度任务生成模块根据预先定义的任务参数将收集的数据生成待调度的任务后存储到待调度任务存储模块;任务调度模块从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送;在接收到所述服务器返回的数据后完成对所述任务的数据分析。较佳地,在所述根据加载的任务的任务类型调用相应的任务处理模块之前,还包括所述任务处理模块将加载的任务封装到任务处理线程中;以及所述调用相应的任务处理模块具体为所述任务处理线程在运行过程中根据所述任务的任务类型调用相应的任务处理模块。其中,所述任务调度模块从所述待调度任务存储模块加载待调度的任务具体为所述任务调度模块将待调度的任务加载到调度栈;以及在所述任务调度模块将加载的任务封装到任务处理线程之前,还包括所述任务调度模块监测所述调度栈中各待调度的任务的任务执行时间;从调度栈中取出任务执行时间到达的任务。较佳地,在所述从调度栈中取出任务执行时间到达的任务之后,还包括所述任务调度模块将从所述调度栈中取出的任务转换为任务实例,并将转换的任务实例封装为优先级对象,该优先级对象的优先级是根据该任务的任务属性确定的;所述任务调度模块将所述优先级对象发送到优先级队列模块;所述优先级队列模块在接收到优先级对象后,根据该优先级对象的优先级与所述优先级队列模块中其它优先级对象的优先级进行比较,根据比较结果自动对该优先级对象进行排序;所述任务调度模块从所述优先级队列模块中获取优先级最高的优先级对象;并初始化一个任务处理线程,将获取的优先级对象中的任务实例传至该任务处理线程中;以及,所述调用相应的任务处理模块具体为该任务处理线程调用与所述任务实例中的任务的任务类型相应的任务处理模块。进一步,在所述该任务处理线程调用与所述任务实例中的任务的任务类型相应的任务处理模块后,还包括所述任务调度模块若确定出所述任务实例中的任务的任务类型为顺序任务类型,则从所述待调度任务存储模块中获取跟随该任务的其它任务;所述任务调度模块针对跟随该任务的每个其它任务,分别初始化一个任务处理线程进行携带,由各任务处理线程分别调用相应的任务处理模块。其中,所述任务调度模块针对跟随该任务的每个其它任务,分别初始化一个任务处理线程进行携带,由各任务处理线程分别调用相应的任务处理模块具体包括所述任务调度模块针对所述其它任务中的每个并行任务,并行初始化携带各并行任务的任务处理线程,由各并行初始化后的任务处理线程分别调用相应的任务处理模块。或者,所述任务调度模块针对跟随该任务的每个其它任务,分别初始化一个任务处理线程进行携带,由各任务处理线程分别调用相应的任务处理模块具体包括所述任务调度模块针对跟随该任务的其它任务中的下层级任务,在该任务处理完毕后,初始化携带所述下层级任务的任务处理线程,由该任务处理线程调用相应的任务处理模块。本发明实施例由于

最近更新

2025年度叉车事故预防及应急处理协议 9页

2025年度厂房出租合同书(含设备租赁) 10页

2025年度单身公寓出租合同附带免费健身房会员.. 9页

2025年度医院病理科进修医师专业培训合同 9页

2025年度医药公司国际市场拓展合作协议 8页

2025年度医疗机构医师临床路径管理合同 9页

2025年度医疗信息化建设项目服务协议 9页

2025年度北京一手房转二手房买卖合同 8页

2025年度劳动合同规范文本(企业员工版) 8页

2025年度劳务电子合同在健康医疗行业的应用实.. 9页

2025年度办公楼租赁及物业管理一体化服务合同.. 8页

2025年度制造业员工年度劳动合同示范文本 7页

食品饮料批发业价格策略与竞争分析-全面剖析 35页

2025年度出租房安全责任免除与房屋维护管理协.. 7页

2025年度冷冻库租赁与冷链配送服务合同 9页

2025年度农村宅基地租赁与农业产业化经营合同.. 8页

2025年度农村土地买卖合同系列:农村土地流转.. 8页

2025年度农副产品包装设计制作合同模板 9页

2025年小家电项目合作计划书 57页

2025年密封垫片项目合作计划书 58页

2025年工程射灯项目建议书 48页

疫苗推广与接种策略优化-全面剖析 25页

循环嵌套在大数据处理中的影响-全面剖析 31页

泡沫塑料行业市场趋势分析-全面剖析 27页

高原环境作业人员的营养 93页

一种抗衰老美容减肥胶原生态绿茶及其加工方法.. 2页

江南长城的导游词(5篇) 7页

一种基于数据分组缓存的ONU节能策略 2页

私营企业经营合同(33篇) 241页

考试协议书3篇 7页