文档介绍：该【首钢工业大数据分析服务平台 】是由【mama】上传分享，文档一共【5】页，该文档可以免费在线阅读，需要了解更多关于【首钢工业大数据分析服务平台 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。94Column专栏■智慧系统解决方案关注活动详情谓扫描二维码编者按:随着物联网、云计算、移动互联网、大数据、人工智能等新技术的飞速发展,以及IT与OT技术的进一步融合,工业制造、城市交通、电力能源、农业等各大行业领域的智慧化发展已成为必然趋势。推进各领域向智慧化发展是一项复杂而庞大的系统工程,既需要单一技术与装备的gDig勢突破应用,还需要系统化的集成创新。智慧系统解决方案是推广普及智能化技术的关键手段,是促进各行业智能化水平提升的核心。为深化智慧产业发展,进一步提升智慧产业各领域系统解决方案应用水平,现由中国自动化学会、智能制造推进合作创新联盟、工业控制系统信息安全产业联盟、边缘计算产业联盟、中国仪器仪表行业协会主办,《自动化博览》杂志社&控制网(2019智慧系统解决方案征集活动正在进行中,面向全行业公开征集智慧系统解决方案。本刊特开设智慧系统解决方案专栏,刊发其中优秀的解决方案以繪读者。首钢工业大数据分析服务平台★北京首钢自动化信息技术有限公司1方案概述的全面感知、动态传输、实时分析,形成科学决策与智能控制,首钢工业大数据分析服务平台基于成熟的大数近年来,中台先进技术,深入挖掘钢铁企业数据结构及数据特物联网建设的发展规划,,充分考虑未来大数据应用业务需求,在企业信息化工业革命。钢铁企业当前虽有比较完善的自动化、信息优化升级的基础上,搭建满足企业所有产线及业务扩展化数据,但数据存储分散、数据标准不统一、数据传输的工业大数据平台,提供对产品全生命周期中产、销、交叉大,不利于工艺人员、技术人员对数据的査询、分研各个业务领域和环节的数据采集、存储、分析、挖掘析,不便于海量数据的处理,难于发觉数据价值,无法—站式服务。将数据“变现”。因此迫切需要针对设备数据、企业经为满足企业对结构化、半结构化、非结构化等多营数据、企业外部互联网数据构建具有高速采集、自动源异构数据的采集、存储、分析、挖掘等高级应用,在存储、快速分析等功能的大数据平台,实现海量数据的对大数据技术的研究积累基础上,结合数据类型和业务存储、共享、分析、应用与管理,首钢工业大数据分析特点,利用Hadoop幵源框架建立了首钢工业大数据分服务平台应运而生。析服务平台。平台技术创新性如下。为打破信息“孤岛”、整合全要素,实现工业数据(1)、热CWM)规范的冶金行业企业级元数据管理平台。建立采札厂、冷轧厂全域产线涉及的一二三级系统。采用分布集器,实现页面、数据库、表、字段等元数据、数据链式消息队列技术实现现场数据的实时接入,采用批处理路管理,构建完善的钢铁数据地图,可以方便、快捷、数据转移技术实现传统关系型数据库与大数据关系型直观、全面的实现数据的血缘分析和影响分析。数据库间的数据转移,采用Nifi技术实现数据的处理与分发。利用大数据时序数据库技术实现高频时序数据的2系统解决方案介绍存储;利用大数据关系型数据库技术实现表检仪数据、板形仪数据、孔洞仪数据等设备数据、现场物料数据、首钢工业大数据分析服务平台以Hadoop技术架构三四级关系数据表的存储;利用大数据全文检索数据为基础,深入挖掘钢铁数据结构及数据特性,充分考虑库实现缺陷数据的存储;利用大数据非关系型数据库未来大数据应用业务需求,搭建满足钢铁企业所有产线hbase实现铁损仪数据、表检仪缺陷图片、日志等数据及业务扩展的大数据平台,实现各系统减负,为业务应的存储。利用大数据平台分布式计算实现时序数据的时用提供数据服务。系统功能蓝图如图1所示。psasai空转换。建立统一接口服务平台、算法服务平台对外提IISHl:.r装s供数据支撑。國醒费I1iw?nam—(2)冶金行业数据仓库技术的研究与实践针对钢铁企业业务流程长、业务逻辑复杂、数据运营决策軎户腰务产品雷销产品研发智能制造智能能3*管理i￡tatrs坏境治理物流詈理量大等特点,以及数据分析的实时性要求,首钢工业大S决S技^数据分析服务平台建立“ODS贴源层、DWD基础主题层、DMB业务集市层、DMA综合集市层”4层数据仓库体系架构,实现了数据抽取、清洗、整合、加载的全过程,解决了"信息孤岛",支撑管理驾驶舱、专业报1nsv^d?sB4i表、跨主题数据分析与数据挖掘。(3)冶金行业多应用场景的支撑与实践故》报V电话通讯环境检测職消耗在多元异构数据融合技术支撑下,首钢工业大数图1系统功能蓝图据分析服务平台获取、分析、挖掘产品全生命周期数首钢工业大数据分析服务平台由数据源、数据采据,为质量管控提供高频时序数据、高频位置数据、单集、大数据平台、大数据接口管理平台、大数据应用五值数据、缺陷图片等查询服务,保证了钢卷下线3分钟大部分组成。内质量在线自动判定;为管理驾驶舱提供总览、制造、数据源主要包括:一级自动化控制系统及设备仪表营销、环境等专业关键核心指标,辅助管理者经营决策产生的高频实时数据;二级自动化管理系统产生的关系分析;为专业报表、主题分析提供数据服务,提升査型数据、日志数据、图片数据;三四级产生的关系型数询速度至少30%。开发了统一算法平台,实现“性能预据;系统外业务管理产生的报告、记录等文本数据、图测”、“切头尾”、“断带预防”等工艺制造模型的同片等非结构化数据。步多进程运算的支撑。数据采集实现对数据通讯的统一管理,集中监(4)冶金行业数据治理体系的研究与探索控,为结构化数据、非结构化数据向大数据平台接入通过采用基于多采集器的元数据管理技术,构建基提供支撑。monWarehouseMetamodel,大数据平台,以Hadoop技术架构为基础,?主机监控:监控群集内所有主机的有关信更改。息,包括哪些主机上线或下线,主机上目前消耗的内?包含全面的报告和诊断工具,帮助优化性能存,主机上运行的角色实例分配,不同的机架上的主机和利用率。分配等。汇总视图中显示了所有主机群集,并旦可以进?软件滚动升级,支持单个节点的滚动重启和—步查看单个主机丰富的细节,包括显示主机关键指标升级,提供不间断服务能力。的直观图表。?集群间的数据复制功能,为企业提供灾备解?行为监控:提供列表以及图表的方式来查看决方案。集群上进行的活动,不仅显示当前正在执行的任务行为,还可以通过仪表盘查看历史活动。同时提供了各个3代表性及推广价值作业所使用资源的许多统计,系统管理员可以通过比较相似任务的不同性能数据以及比较査看同一任务中不同首钢工业大数据分析服务平台,落地首钢股份硅执行的性能数据来诊断性能问题或行为问题。钢一冷轧智能工厂大数据分析服务系统(以下简称“智?事件活动:监控界面可以查看事件,并使它能工厂大数据”)得以实际应用,目前智能工厂大数据们用于报警和搜索,使得系统管理员可以深入了解发已经完成项目建设并上线运行。项目实现多源异构数据生集群范围内所有相关事件的历史记录。系统管理员融合以及海量数据的长期稳定存储,实现数据从“分可以通过时间范围、服务、主机、关键字等字段信息层、分域”到“跨层、跨域”的扁平化跨越,通过对数过滤事件。据进行采集、清洗、整合、建模、分析、挖掘,驱动业?报警:通过配置可以对指定的事件产生警务创新,提升产品质量、降低研制成本,达到预期目报。系统通过管理员可以针对关键事件配置其报警阈标。基于智能工厂大数据的成功应用,同时为支撑首钢值、启用或禁用报警等,并通过电子邮件得到制定的警股份产销系统建设和首钢工业大数据分析服务平台快速报通知。复制、推广,立项首钢钢铁产销一体化大数据平台(股(5)平台运维份)项目(以下简称“产销大数据”),目前产销大数首钢工业大数据分析服务平台的每一个部分提供据已经完成建设并顺利上线。细粒度的可视化以及管理控制,为平台的企业级部署设智能工厂大数据、产销大数据顺利上线,满足首定了标准,提高了服务质量并且减少了管理成本。钢股份对结构化、半结构化、非结构化等多源异构数据平台运维管理设计是为了使对企业数据中心的管的采集、存储、分析、挖掘等高级应用。项目实现指标理变得简单和直观。通过平台运维管理工具,可以方便如下:地部署,并旦集中式的操作完整的大数据软件栈。该应(1)建立首钢工业大数据分析服务平台;用软件会自动化安装,从而减少了部署集群的时间。运(2)实现首钢股份全域92个机组及前工序涉及的维管理工具可以提供一个集群范围内的节点实时运行状一二三级系统的数据采集;态视图。同时,还提供了一个中央控制台,可以用于配(3)幵展冶金行业数据治理体系的研究与探索,置集群。不仅如此,平台运维管理通过一系列的报道和实现首钢股份数据地图;诊断工具,可以帮助优化集群性能,并且提高平台利用(4)支撑在线质量判定数据存取时间<=50秒;率。平台运维管理能够实现以下功能:(5)支撑在线质量判定周期缩短至3分钟内;?集群的自动化安装过程,大幅缩短部署时间。(6)报表査询速度平均提升30%;?提供了集中的中央控制台对集群的配置进行(7)经营指标由月査询提升至曰查询。98Golumn专栏■智慧系统解决方案关注活动详情请扫描二维码除完成项目指标外,首钢工业大数据分析服务平?提升首钢产品核心竞争力。首钢工业大数据台的系统作用、智能工厂大数据及产销大数据项目的经分析服务平台有效支撑首钢钢铁产品的研发、生产和质济效益、社会价值如下。量提升,为国家急需的低能耗、高效率电工钢新材料的U)系统作用供应提供有力支撑,产品已广泛应用于家电、无人机、关键工艺高频时序数据采集频率由原来200毫秒、新能源电机等行业。1秒加快至50毫秒,数据采集周期缩短75%以上;实现?提升首钢下游客户满意度。首钢工业大数据9455条时序数据的时空转换;实现钢卷质量人工判定分析服务平台整体解决方案中全面融入客户供应链管理向在线自动判定跨越,判定周期缩短至3分钟内。体系,增强客户粘性,下游客户对首钢品牌的认可度进实现横到边、纵到底的多级管控。实现界面访问一步提升,产品品牌价值得到大幅提升。首钢产品性能速度<ls,辅助管理者快速精准的经营决策分析;实现提升对下游客户产品成本和质量控制提供了有力的支撑硅钢全产线在线数据分析,数据分析周期缩短50%;明作用。细类报表査询速度由原来4分钟增速至2分钟,平均提?提升首钢综合管控水平。首钢工业大数据分升50%;指标计算类报表查询速度由原来1分钟增速至析服务平台利用高新技术,以现代化、信息化、智能化20秒,%。手段大幅度提高产品的生产能力,增加企业生产柔性,积极幵展数据挖掘。动态切头尾模型利用大数据缩短产品交货时间,提高产品和服务质量水平,增加客流处理技术,提取特征数据,摸索头尾剪切优化模型。户满意度,提高首钢市场占有率。带钢表面缺陷分析评价在18秒内完成酸洗出口表检数据?带动了首钢集团内部及相关企业工业大数据的采集、分发、存储和缺陷评价,指导圆盘剪切月牙操分析应用。为中国钢铁行业生产制造的结构升级提供作。了较好的借鉴经验,为钢铁工艺环节提供了参考和借(2)社会价值鉴。eg联通发布首个全5G工业互联网端到端应用替代工业Wi-Fi曰前,中国联通在浙江新昌“5G更高效,5G超高速、超大链接、超低时计、MES、ERP、APS、产品质量检先行示范区”对外正式发布全球首个全延、安全传输的特点得以完整的诠释。测、AR/VR指导设备维护等各类智能5G工业互联网端到端应用,这项应用的当前118Mbps的上行实测速据较生产管理系统,为5G全连接智慧工厂建基础是中国联通携手华为鼎桥、厦门四原来的10-20Mbps,提速近10倍;与设提供网络基础,为中国制造的提升提信共同研发的基于华为5G模组之上的工此同时,5G网络可为生产车间提供泛供充沛动力。业互联网网关。在设备连接结点,双管齐下强力聚合数首个全5G工业互联网端到端应用中国联通的这款5G工业互联网网据,确保生产数据及时性、准确性和完的发布,其意义不仅限于数据的高效提关是全球首款应用在实际生产场景中的整性,为企业智慧化生产打下扎实的数取和大带宽传输,而且可以基于5G云网5G网关,可用于恶劣复杂的工厂环境字化基础,大大降低企业经营管理成端的整体能力,形成以机器、原材料、下,直接连接工业机器设备进行数据采本,提升经济效益。控制系统、信息系统、产品以及人之间集的物联网终端,并通过实时海量的数全5G工业互联网端到端连接,完的网络互联,通过对工业数据的全面深据传输,使管理者在不同时间、地域轻美解决工业Wi-Fi互相干扰、不稳定、度感知、实时传输交换、快速计算处理松掌握生产运营情况。5G工业互联网传输速度慢、不及时等难题,实现数据和高级建模分析,实现智能控制、运营网关使机器设备与平台之间的数据交互实时可靠的交互,强力支撑工业产品设优化和生产组织方式变革。