文档介绍：大数据物流可视化解决方案
淘宝数据分析挖掘实践及变革
百度大数据分析系统架构
京东大数据实时处理技术
物流大数据处理简介
1
2
3
4
目录
【推荐】
用大数据能 Data Mining
想法
原型
系统
快速开发
测试
产品
部署运维
开发框架
互联网产品的迭代
A/B测试，持续优化
数据智能
验证
数据分析
应用引擎
云测试
应用引擎
数据
架构
技术
互联网服务
enable
数据智能
IT产业生产力的变化
‘60
‘70
‘80
‘90
‘00
‘10
硬件
Mainframe
软件
PC
Internet
Inf
+人
+数据
Cloud
迭代的本质是让人参与系统进化，
而Big Data为迭代指导方向，
Infrastructure则加速迭代。
软件
+人
互联网服务的典型技术特点
超大规模
快速迭代
数据智能
软件基础架构
大数据
数据中心、网络、服务器
数据中心计算
云计算技术体系
Disk
Flash
Pipe
K/V
File
Table
统一存储体系
– 平衡大容量、高并发、低延迟
– 不同访问模式通过组合满足
统一访问与传输
数据访问层
P2P
CDN
分布式存储
描述能力
数据流优化
控制流管理
资源分配
优先级、并发控制
隔离、安全
执行层
模型层
Map
Reduce
表示层
SQL-like
翻译
Join
Select
Top
分布式计算
B
C
D
A
实时存储与计算
kNN查询
平台
向量计算引擎
流式数据处理引擎
PubSub
引擎
机器学****br/>算法平台
OLAP
引擎
复杂事件处理引擎
分布式数据结构
超大规模数据仓库
图查询
平台
实时检索
平台
向量计算引擎
Vector
Layout
Map-
Shuffle
Operators/ Checkpoint
SIMDProgram
复杂事件处理
average(price)
trigger(?,b,c)
filter(b)
pattern(a->b->c)
condition(func(a,b,c))
流式计算模型
window
step
bound
time
M=Stream<window,step,bound>
目标
• 1000PB
• 10亿维特征训练
• 100维条件查询
• 流式
• 触发式
海量
高维、多维
实时
更大、更复杂、更快!
数据智能
分布式
存储与计算
大规模人工
辅劣标注系统
人计算
向量引擎
Machine
Learning
算法
Web Contents
流式处理
Logs
PubSub
推荐系统
智能交通
Apps
自劢评估
商业智能
决策辅劣
关于京东
营销
管理
供应商
管理
仓储
管理
财务
系统
客户
数据
网站
前台
关于京东
 京东拥有覆盖企业全部价值链的稳定系统，通过持续优化打造开放平
台，全面提升用户体验。
配送
管理
大规模数据处理更加容易
ETL/企业数据仓库
（Hive/Pig/MR）
数据挖掘/建模
（R、Mahout）
搜索和推荐
日志存储
…
•
•
•
•
•
“Next Click”
运营智能
风险控制
互动分析
„
一些场景需要进一步的考量
MapReduce批量处理
=
延迟较长
无法满足用户的实时需求
调度开销较大
批处理与分析
近实时分析
实时流处理
实时性
离线
准实时/实时
实时
处理时间
分钟到小时
毫秒到秒
持续不断
数据量
TB-PB
GB-TB
持续
编程模型
MapReduce
Queries
DAG
用户
分析师/开发者
分析师/开发者
开发者
成本