文档介绍:该【滴滴大数据研发中台的最佳实践 】是由【chemcary】上传分享,文档一共【58】页,该文档可以免费在线阅读,需要了解更多关于【滴滴大数据研发中台的最佳实践 】的内容,可以使用淘豆网的站内搜索功能,选择自己适合的文档,以下文字是截取该文章内的部分文字,如需要获得完整电子版,请下载此文档到您的设备,方便您编辑和打印。曾文秋高级技术专家自我介绍?9年大数据平台研发经验?2011-2018阿里巴巴dataworks的技术负责人,负责一站式的大数据开发平台、工作流任务调度、任务智能监控、数据质量、数据管理等?2018加入滴滴,负责滴滴的大数据平台的架构&设计目录l滴滴大数据发展史l一站式大数据研发中台l核心组件设计剖析l基于研发中台的数据治理实践滴滴大数据发展史刀耕火种命令行2014同步:sqoop调度:cron查数&任务开发:命令行开通&权限:邮件+人工沟通稳定性建设、工具萌芽2015-2016工单流程提取工具离线任务调度任务开发:命令行烟囱式发展2017提数工具数据地图离线任务调度数匠坊+docker全链路质量监控系统实时任务管控&运维D++(用户&资源管理)DDTS(基于datax的任务同步)工单流程一站式平台(离线)2018一站式平台数据同步数据开发任务调度指标管理监控告警数据质量资产管理数据安全一站式平台(多计算引擎)2019-2010一站式平台离线实时机器学****车?静态信息:归属人/公司、车牌号…?动态信息:里程数、维保记录路?静态信息:全球、全国、城市等各粒度?动态信息:+用户1000+座全球城市700亿日ETA请求150亿日定位数据日新增106TB+数据日均处理处理4875+TB数据