文档介绍：唯品会大数据平台现状
*
大数据存储和计算资源管理单超
*
大数据管理工作范畴
❖ 业务系统
❖ 调度系统
ETL
❖ 数据模型
❖ 元数据/主数据管
理
❖ 数据质量
❖ 开发流程
❖ 运维流程
❖ 数据审计和安全
❖资源管理
*
大数据存储和计算资源管理单超
*
“数据平台使用申请”
❖ 用户提交：
❖ 资源类型
❖ hdfs存储/hive数据库/hive计算资源/mr计算资 源...
❖ 资源数目
❖ 100T存储/1T内存/1000颗CPU...
❖ 访问方式
hive/presto/spark/webhdfs…
❖ 管理员处理：
hdfs分配：
path/name quota/space quota
❖ hive分配： 数据库/授权
yarn分配：
❖ 队列最小资源/最大资源/weight
*
大数据存储和计算资源管理单超
*
理想很丰满,现实很骨感
❖ 系统强大
❖ 数据规范
❖ 流程规范
❖ 技术成熟
❖ 业务成熟
❖ 模型变更迅速，开发周期短
❖ 用户能力参差不齐
❖ 大量的历史包袱
❖ 大量的技术包袱
❖ 平台不稳定，掌控力差
❖ 分层不明确
理想
现实
*
大数据存储和计算资源管理单超
*
各种问题
❖ 这个任务昨天还好好的，为什么今天跑不出来了？
❖ 2-10倍的数据量，能撑得住吗？
❖ 怎么几千个任务都慢了？
❖ 最近磁盘使用急剧增加，谁在用？
❖ 这个表好像不用了，我能删除掉吗？
❖ 集群要扩容吗？扩多少?
*
大数据存储和计算资源管理单超
*
核心 资源管控
❖ 分田到户
❖ 目的：
❖ 从乱序到有序
❖ 申请和分配有据可查
❖ 规则公开透明
❖ 数据公开透明
❖ 有多少资源，干多少事
❖ 合理的KPI和惩罚机制
❖ ROI，资源倾斜给回报率高的项目
*
大数据存储和计算资源管理单超
*
资源有什么？
*
大数据存储和计算资源管理单超
*
为什么存储和计算需要关注？
Scale Up > Scale Out
Namenode - 存储(2亿blocks/2亿files)
standby namenode updateCountForQuota缓慢影响主从一致性，进而影响切换（HDFS-6763)
standby checkpoint缓慢导致增量blockreport汇报被skip, 影响主从一致性，进而影响切换（HDFS-7097)
standby checkpoint GC导致transfer Fsimage超时失败
❖ 集群启动期间, blockreport需要错开，导致启动缓慢，namenode压力增加
ResourceManager - 计算(1k+并行job/40w+ job每天)
大量任务运行期间，resource manager分配能力不足
-3547 部分解决问题
-5188 our patch for fairscheduler
❖ 队列分配过粗，互相影响严重
*
大数据存储和计算资源管理单超
*
开源节流
Federation 存储优化管理 计算优化管理
提升namenode rpc性能 提升yarn的containaer assign性能
增加机器
*
大数据存储和计算资源管理单超
*
存储资源管理
*
大数据存储和计算资源管理单超
*