管理百万容器如何做到高效、稳定又省钱？

来这里找志同道合的小伙伴！

本文是第七届京东技术金项奖团队贡献奖之特别奖——阿基米德项目的技术解读。

导语

2016年，京东推出京东数据中心操作系统（JDOS 2.0），在国内率先将kubernets引入大规模生产环境。

2017年，在JDOS的基础上阿基米德全面接管京东所有应用资源调度，在保证业务的正常运行下，集群平均资源利用率提升3倍，仅在 11.11 备战期间，通过资源调度降低数亿元服务器采购成本。

2018年，阿基米德业务系统上线发布效率提升10%，线上申请资源仅需0.2s，交付1万个容器只需10分钟；通过整体梳理哪些技术手段可以让资源的需求和使用更加合理化，让技术成为促进业务发展的重要力量。

2018年京东技术金项奖团队贡献奖-特别奖由阿基米德项目一期获得，仅3年的发展，阿基米德通过调度，将调度从理论算法真正落地到了工程实践中。

阿基米德

项目团队在长期大规模的容器运营过程中，通过大量的监控数据统计发现了资源利用率低、资源使用存在峰谷差异、资源碎片等问题，简单的调度分配资源算法无法满足京东复杂的调度需求，因此阿基米德项目应运而生，并迅速成为撬动整个数据中心的支点，负责整个京东数据中心的资源调度与驱逐。

应用场景

1、敏捷开发快速上线

平台提供代码构建、镜像打包、服务快速部署、灰度发布、自动伸缩、负载均衡等持续交付工具链，使开发者专注业务的开发和测试无需关注运行环境和运维，加速应用的快速迭代和上线。此类场景包括APP应用、手游、新媒体应用及需频繁迭代的其它应用。

2、微服务架构应用

平台提供应用微服务化的能力，将现有的大型应用系统通过微服务架构拆成多个独立模块，每个模块使用一个应用镜像作为模板进行微服务部署；支持镜像的多个版本，可使用灰度发布功能，在多个版本间进行切换或进行A/B测试；支持容器粒度的隔离，且容器被平均分布在底层宿主机上，保证应用每个微服务的安全和稳定。此类场景包括ERP、供应商管理系统及WEB应用系统。

3、快速弹性伸缩

平台支持伸缩策略，在业务峰值时，自动增加核心服务的容器数量和容器配置并进行容器秒级部署，同时自动加入至负载均衡后端，响应并发请求；在业务低峰时，自动缩减运行环境以节省资源成本。此类场景包括电商或 APP 应用的抢购、秒杀、促销等。

难点突破

许多公司的调度局限于模型和算法的设计，而难以落地到工程中，究其原因，主要是其太过理想化，没有考虑到实际的业务需求和现实状况。阿基米德项目并没有局限在调度算法，而是从实际出发，从技术和业务两个层面进行了推动建设。

在技术层面上，统一容器技术栈，将所有的业务搬移到容器中来。将资源货币化，将资源使用时间细化到秒，资源使用量转化为货币，使得资源的消耗使用更加直观。构建了阿基米德资源调度系统，实现了高吞吐率的调度算法，通过应用画像、负载统计预测，提高了调度的准确率和资源的利用率。通过融合计算，实现混合资源池，将大数据和AI训练任务引入，实现资源使用的削峰填谷和时空复用。

从业务层面上，精细化业务容量规划及多维度资源账单，通过精细化业务资源申请，资源历史账单对比，有效帮助在线业务合理评估流量需求，提升业务系统的资源使用率。同时，优化调度效率，缩短业务系统上线发布时间。通过阿基米德系统上线申请资源时间只需要0.2秒，1万个容器只需要10分钟即可全部交付完毕，真正实现了秒级扩容。

未来发展

阿基米德项目经过2018年日常及两次大促的不断迭代完善，实现了资源利用率的大幅提升，为公司降低了数亿元的采购成本。在未来一年，阿基米德项目将在调度方面持续投入，在资源的时空复用、资源碎片的整合、精细化的运营及额外算力提供方面进行研究实践，同时，在超大规模集群建设和跨数据中心调度方面进行持续的尝试突破。

 京东技术金项奖 

京东技术金项奖是由京东集团技术委员会设立的表彰优秀研发团队及个人的奖项。评选维度围绕京东技术核心理念，创新、协作、品质和高效展开，对研发体系优秀项目、团队和个人进行选拔激励。2018年是开展金项奖的第7年，也是京东向技术转型至关重要的一年，作为集团技术奖项，将大力表彰2018年度在技术创新、业务贡献有突出成就的技术团队，以及在创新力、专业度和影响力上显露光芒的研发人员。

RECOMMEND

推荐阅读

京东技术

---关注技术的公众号

长按识别二维码关注