Kubernetes 多集群管理项目 Clusternet 正式开源

11月4日，在2021腾讯数字生态大会上，腾讯宣布云母语领域开源进展—— Kubernetes多集群管理项目Clusternet正式开源。

据悉，Clusternet是腾讯与多网站生活、QQ音乐、富途证券、微众银行、酷狗音乐、三七互娱等共同发起的，集中于Kubernetes的多集群管理和应用管理方向。 作为未来分布式云的技术基础，Clusternet将Kubernetes以组件化的方式扩展，将Kubernetes强大的集群、APP和服务能力扩展到分布式云，从而提供所有Kubernetes生态资源和源此次大会上腾讯发布的腾讯云原生分布式云中心TDCC产品正是以集群网为核心技术。

使用Clusternet，无论群集是在公共云、私有云、混合云还是边缘云上运行，都可以获得统一的管理和一致的访问体验，并且可以集中部署Kubernetes API和多个

具体而言，集群net具有以下特征。

最轻量化的体系结构。 它以聚合数据库(kubernetesaa )方式部署，不依赖于其他存储和端口，也不需要学习和维护不同平台的软件和系统差异，大大降低了运输复杂性。 一站式连接各种集群。 同时支持Pull和Push模式，管理Kubernetes集群，通过首次的双模式自动化，一站式管理大量集群。 即使没有专用的网络信道，也可以在群集之间进行路由访问。 零成本升级阴天框架。 传统的单云单集群架构业务可以在降低学习成本和改造成本的情况下升级到多集群架构，与Kubernetes的标准API、Helm Chart和定制CRD完全兼容， 丰富灵活的策略配置。 提供各种类型的配置战略，包括分发战略、差异化战略等，以灵活的组合应对复杂的业务场景，减少人工干预和重复劳动。 方便的访问。 Clusternet提供完美的对接能力，支持kubectl plugin和client-go，易于一键访问业务，具备管理多个集群的能力。

大数据全场景在离线混部系统 Caelus 正式开源

是2021腾讯数字生态大会，腾讯正式开放了全场景的离线混合部系统Caelus。

Caelus是腾讯大数据团队联合腾讯多个业务部门共同开发的，通过解决大数据资源不足问题，Caelus离线混部，扩展可用于大数据任务的资源，发挥空闲资源的更大价值据介绍，在腾讯内部，Caelus混部方案已经大规模应用于广告、存储、大数据、机器学习等多项业务，平均提高了30%的资源利用率，节约了1亿成本。

目前，在线作业的集装箱化已成为主流，但大企业的在线业务中还有相当多的未集装箱化的库存，或者存储类服务等一些业务不适合集装箱化。 这些是非集装箱化的在线APP应用，资源隔离方式并不优越，但资源非常大，因此Caelus通过加装集装箱来管理在线APP应用，也充分利用了这部分资源，减少了混合在很多公司和很多场合，

离线任务时，Caelus可以支持大数据任务和非大数据类的任务。 但是，由于大数据任务占离线任务的极高比例，而且离线大数据任务的资源碎片化特征比较明显，大数据大多是Hadoop的生态，所以腾讯做了很多兼容的工作。 同时，也看到许多公司在云原生大数据领域取得了较好的进展，使用Caelus组建混合部更为自然。

Caelus挖掘线上业务的空闲资源，混合部优先保障线上服务的正常运行，线上业务需要资源时，大数据业务应及时归还资源。 Caelus内部集成了指标采集、资源图像、资源隔离、干扰检测、离线驱逐等模块，从调度、隔离、检测等方面全方位保障在线服务质量。

资源分离时，Caelus采用了CPU、内存、磁盘I/o、磁盘空间、网络I/o等所有维度的灵活资源分离。 另外，对操作系统的版本进行腾讯，可以进一步提高资源的隔离效果。 对于干扰检测，通过RDT、perf、eBPF等技术深度收集硬件、内核和业务相关指标数据，通过丰富的异常检测算法判断在线服务是否受到干扰。

目前，Caelus在腾讯内部经历了长时间规模化的考验，未来将在更多网络模式下的集装箱热转移、机器学习等长时间运行的离线任务混合部的质量提高等方面进行持续迭代优化。

腾讯副总裁nxdds表示，随着云计算和云原生的发展，云开源生态系统也正在形成，云为开源发展提供了最佳载体。 讯云也致力于通过云母语开源项目，与业界共同探索开源的社会价值和商业价值。 “我们希望将来，无论是一个人，还是三五人的小团队，或者是大多数中小企业，都能使用与大厂相同的框架和技术，帮助整个行业的技术创新和进步。 ”