其他
Yarn 混合部署方案在好未来的实现
背景:Kubernetes(k8s)/ack是一个开源的容器集群管理系统。在Docker技术的基础上,为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能,提高了大规模容器集群管理的便捷性。由于大数据集群资源使用庞大,成本高。资源使用存在潮汐现象,同样公司的业务体系也存在潮汐现象,并且对比资源使用情况,大数据集群和业务体系服务器正好形成错峰资源使用状态。线上业务只有白天会吃资源比较多,晚上所占的服务器资源比较空闲,这样可以让资源紧张的大数据生态去充分利用业务体系的空闲资源。结合k8s动态伸缩特性可以支持晚上大数据生态弹性错峰调度业务体系资源,达到资源共享目的,有效的节省成本,提高服务器资源利用率。01在离线混部实现方案1、目标资源共享,缓解“潮汐现象”;推进云原生方案快速落地;集群快速的弹性伸缩。2、在离线混部方案通过k8s的弹性扩缩能力,实现nodemanager的弹性扩缩容。具体方案图如下:在离线混部方案实现过程改造RM支持pod-NM的注册,主要解决了node_allow、nm
2022年1月13日