LOADING

Follow me

互联网+技术 | 基于Docker的京东大数据实时计算平台【zoues.com】
一月 4, 2017|DockerPaaS

互联网+技术 | 基于Docker的京东大数据实时计算平台【zoues.com】

互联网+技术 | 基于Docker的京东大数据实时计算平台【zoues.com】

本文介绍一种京东解决“用户需求多样复杂,用户要求的资源配置也大小不一,系统更新部署步骤繁琐,人工操作亦有极大的安全风险,与此同时,用户的资源需求也越来越多,大集群支持、资源节省”问题而研发的基于docker的实时计算平台。


现状以及问题

storm集群结构


互联网+技术 | 基于Docker的京东大数据实时计算平台


storm拓扑结构


互联网+技术 | 基于Docker的京东大数据实时计算平台


storm瓶颈

从storm架构图可以看出,storm整个集群对zookeeper的依赖非常大,无论是拓扑配置、分配信息、心跳、错误信息,均存储在zookeeper中,而nimbus每次分配、更新任务,均需要从zookeeper中获取这些信息,因此nimbus的压力非常大,特别是当单集群worker使用量超过5000时,每次分配、更新任务所耗的时间经常需要几分钟,其中特别是worker心跳对zookeeper所造成的压力影响最甚。


众所周知,京东业务广泛,对实时计算的需求也很大,对应所要求的集群规模也不可能小,因此京东对于上述这些问题也必须做出改变以适应自身业务的发展,其中最大的改变即是对拓扑应用结构的改变,增设了TopologyMaster角色,把metrics、心跳、背压等信息均由TopologyMaster处理,大大减轻了nimbus及zookeeper压力,当然啦,还有很多很多很不错的改动,但这不是本文的重点,就不在此累赘了。改变后的拓扑结构为


互联网+技术 | 基于Docker的京东大数据实时计算平台


为响应京东集群资源上云号召,京东实时计算平台虽然解决了大集群、资源隔离等用户或集群所面临的重要问题,但若直接把整个storm照搬上弹性云平台虚拟机使用,则无法满足资源隔离需求,届时,集群用户任务之间的相互影响很可能带来各种不可预见的问题,因此我们必需对storm底层进行一次完整的改造。

技术架构实现


互联网+技术 | 基于Docker的京东大数据实时计算平台


 如图所示,我们将Storm的Nimbus功能进行拆分,将拓扑的主要管理职能交给TopologyMaster,改造后的storm在我们内部称之为Mars,意寓发现新大陆。


Mars主要有以下几个特性。

1
二级调度

改造后的Nimbus只需管理TopologyMaster的调度,其它如UI访问、命令下发、拓扑更新、分配、背压、metrics、心跳等,均由TopologyMaster负责处理,真正实现了完整意义上的二级调度。

2
资源隔离


改造后每个docker实例下只有一个supervisor,并且每个supervisor里只用一个worker,通过每个docker一个worker来进行worker级别的资源隔离。此外,我们引入了组的概念,不用用户申请的资源也可以统一放到一个组上,一个任务只能运行在一个组内,并通过产品化来引入权限管理,以此保证不同用户申请的资源不会被他人占用。

3
全高可用(High Availability)
基础进程HA

我们在每个docker实例里内置一个管理进程mars admin,并配置crontab每分钟检测mars admin进程状态,保证mars admin发生异常后自动重启。Mars admin管理着supervisor进程、进行日志服务的doctor进程、抓取日志的bee进程,这些进程的启停与更新由mars admin来执行,保障每个docker实例里的基础进程的HA。


Nimbus HA

我们通过Zookeeper来实现Active-Standby模式的nimbus ha,由于改造后nimbus的工作内容很少,因此单机执行完全足够满足需求。

TopologyMaster HA

TopologyMaster会定期与Nimbus进行心跳交互,若Nimbus检测到TM心跳超时,则会重新调起一个新的TM,新的TM会将自身信息写入Zookeeper中,其它Container与Supervisor将通过Zookeeper来识别到新的TM,从而保障TM的HA。

Container/Worker HA

Container会定期与TM进行交互,若TM检测到Container心跳超时,则会重新从资源池里调起一个新的Container接管原来失效Container的任务,并把新的任务分配写入Zookeeper中,以便其它Container识别新的Container的位置,从而保障Container的HA。

4
自动部署

由于一个docker一个worker,而一个docker实例可以理解为一个虚拟机,用户资源申请具有随机性、配置个性化等特点,因此对我们配置管理上必需具有自适应性。对此我们通过提供一个特殊镜像,通过产品化把JRC与云平台资源申请打通,并把资源配置、包部署等功能产品化,以达到自动部署的目的。

总结

基于docker的实时计算平台是京东自行研发的全新的、自动化的实时计算平台,它基于storm理念,通过重新设计整个底层架构及运行逻辑,并添加背压、压缩、限速、监控、日志等辅助功能,经过产品化并与弹性云平台打通,达到了用户申请即可用、配置个性化、大规模集群的要求,操作高效且自动化。


更多”互联网+“案例,请阅读原文,访问ITA1024 中国互联网+第一网站。

中国互联网+第一网站
abc.ita1024.com

中国互联网技术联盟以“技术驱动 跨界连接 合作创新”为使命,联合国内所有一线互联网公司、电商公司、技术公司、资本机构、媒体机构、政策研究机构,整合社会化资源、打造社会化组织、建立社会化服务平台。


为互联网企业和传统企业“互联网+互联网”升级转型战略提供必要的专家资源、媒体资源、资本资源、技术资源。

为企业提供有价值的资讯&数据服务、跨界连接服务、“互联网+”商学院服务/技术学院服务/专家服务、媒体包装推广服务、融资对接服务。

互联网+技术 | 基于Docker的京东大数据实时计算平台

no comments
Share

发表评论