9号彩票开户

关注微信  |  微博  |  腾讯微博  |  RSS订阅
读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

PPT:美团点评数据平台融合实践 项目推进经验及技术突破

美团大数据

PPT来源ArchSummit全球架构师峰会2017

美团点评两家公司合并以来,经历了组织架构融合、线上业务融合、数据与基础设施融合的三个大阶段。

本次分享主要介绍第三阶段,美团点评整个数据平台融合的项目推进经验,以及相关技术突破,期望能对于有大的数据平台技术产品重构或底层技术架构调整需求的架构师进行参考。

平台项目分为三个阶段:

数据流打通;

离线集群透明迁移融合;

工具链产品融合与业务任务切分。

融合之前,我们有异地双机房共4k节点,涉及万级别任务迁移与自动改写,整个融合过程持续提供数据生产与应用服务,要求对业务透明。

本次分享除了对于项目整体计划与实施的讨论,也会会涵盖 Hadoop 集群认证打通、Hadoop 多机房架构改造、大面积 SQL 任务重构的自动化方法等核心技术点的详细架构介绍。

其中,Hadoop 集群认证打通我们使用 Kerberos 跨域认证方案,Hadoop 多机房方案我们通过新增 Zone Tunnel 模块,操作 HDFS 文件块的分布,做到了集群的平滑迁移。

在 SQL 任务自动重构的场景下, 我们自研了一个 Hive 表映射的方案,使得任务的修改可以并行化,无需双写,也无需分层迁移,大大的提高了重构效率。

下面是详细的PPT:

数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台

数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台 数据平台

数据平台 数据平台 数据平台

End.

转载请注明来自36大数据(36dsj.com):36大数据 » PPT:美团点评数据平台融合实践 项目推进经验及技术突破

36大数据   除非特别注明,本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性,宽容,换位思考的原则。

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
友情链接:金彩彩票  广发彩票  北京赛车pk拾投注技巧  大运彩票  北京赛车pk拾人工计划  

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!