1 / 59
文档名称:

大数据与大数据技术课件.pptx

格式:pptx   大小:15,447KB   页数:59页
下载后只包含 1 个 PPTX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据与大数据技术课件.pptx

上传人:gxngqvk 2022/8/7 文件大小:15.08 MB

下载得到文件列表

大数据与大数据技术课件.pptx

文档介绍

文档介绍:量变到质变 大数据与大数据技术
虞强

第1页,共59页。
议程
公司简介
大数据与大数据技术
大数据技术应用


大数据案例分享
问题讨论
Advanced Analytic Service端应用
报表
外部应用
下游系统
管理控制台 (CloudEra、Talend、KNIME)
数据安全以及认证(Portal集成)
第14页,共59页。
用工具取代代码作坊
MapReduce
Performance
(runs on disk)
One
Click
Spark
Performance
(runs in-memory &
on disk)
20X
Faster
第15页,共59页。
同时处理实时与批次
流式处理
批次处理
转换
清洗
治理
转换
清洗
治理
推荐引擎
Spark Streaming/Kafka
Spark
数据库,文件,批次数据
实时,流数据
HDFS
文件
数据流
输出
第16页,共59页。
基于用户数据理解地模型预测
图形化数据准备挖掘
运用Spark Mlib 等进行计算
结果回写入Impala或者HIVE
第17页,共59页。
非结构化数据为存储的新型SQL
基于落地HDFS的文件或HBASE进行SQL建表解析
提供工业MPP级别查询性能
线性可扩展
标准JDBC SQL界面,直连BO,Tableau ,Qlikview, MSTR等报表工具
第18页,共59页。
技术方案:特点小结
基于开源系统的成熟商用插件方案
部署简便
提高开发效率
降低实施风险
基于内存的计算 性能优异
全部基于唯一Hadoop集群内,统一存储统一计算
减少数据传输迁移的同步问题
维护便捷:一套集群,维护简单
扩展性:无限扩展 线性提升
便捷的开发及报表展现工具
图形化 ETL,数据挖掘开发
便捷报表展现分析工具
建模过程100% 用户参与
IT基础架构与用户数据准备、探查、分析、预测分离
Advanced Analytic Service All Rights Reserved 2016
19
第19页,共59页。
大数据团队组织建设
数据与业务的结合
大数据开发团队
技术平台支持
业务人员
咨询团队
大数据管理员
内部团队与专业伙伴紧密合作
Evan
数据科学家
第20页,共59页。
Advanced Analytic Service All Rights Reserved 2016
21
大数据技术应用
第21页,共59页。
Internet of Customers and Internet of Things
IoT
Invisible devices and Wearable devices
Trillions of networked nodes
Low bandwidth last-mile connection
100kBit/sec
Mostly addressed by local schemes
Machine-centric
Sensing-focus
Trillions of computer-enabled devices which are part of the IoT
Global addressing
User-centric
Communication-focus
IoC
Laptops / tablets / smartphones
Billions of networked devices
High-bandwidth access
Cable: 10Mbs+
Fiber: 50-100Mbs
6+billion people
billion use net
US: devices
per adult
第22页,共59页。
Big Data on IoT
第23页,共59页。
Predictive
Maintenance
that enable you to change your business…
Hadoop
Machine Learning
Query and
reporting
IoT 解决方案
Command and Control
You have devices on the network edge…
Pla

最近更新

2025年度民宿墙纸定制与民宿风格打造合同 8页

2025年AECOPD病房护理实战教学攻略 26页

2025年2-3岁宝宝心理成长与养育攻略 18页

2025年度智能物流厂房以租代售租赁管理协议 9页

2025年度智能家居设备安装与系统集成合同 8页

2025年度智能家居与物联网室内装修工程承包合.. 9页

2025年度智能制造生产线劳务咨询服务合同 8页

2025年度智慧城市建设投资合作协议模板 8页

2025年度时尚美容美发店面租赁服务合同 8页

2025年度旅游度假区景观工程劳务分包协议书 9页

2025年度新能源电池研发与生产劳动合同范本 9页

2025年度新能源发电项目土方开挖及回填施工合.. 9页

2025年度新媒体内容分发平台合同 8页

2025年度新型医疗器械代理推广合同 9页

2025年度文化场馆保安服务委托合同协议 8页

2025年度文化产业咨询与合作协议 9页

2025年度数字出版与版权交易服务合同 9页

2025年度教育培训机构场地租赁合同模板 8页

2025年度扶贫开发公益性岗位劳动合同协议 7页

2025年度户外LED广告位租赁合同协议专业版 9页

2025年度建筑废弃物资源化利用项目勘察设计服.. 9页

2025年度店铺代运营与文化旅游融合发展合同 9页

2025年度年脚手架租赁及安全培训服务合同 9页

2025年度工地施工人员工伤赔偿及事故处理合同.. 8页

2025年度工伤事故私了赔偿协议书执行标准 8页

2025年度山地户外营地租赁协议 9页

2025年度居家养老综合服务协议书 9页

2025年度小学生体育活动安全保障与体检评估合.. 9页

2025年度小产权房土地使用许可转让合同 9页

2025年度家电家具品牌代理购销合作协议 9页