首页 > 编程知识 正文

开源分布式数据库(开源大数据库)

时间:2023-05-05 00:12:51 阅读:224 作者:2968

自20世纪60年代第一个企业数据库产品诞生以来,数据库经历了60年的发展迭代。在开源吞噬软件的今天,数据库正面临一个转折点:当我们查看国外数据库排名的DB-Engines网站和中国莫天伦最新的数据库排名时,我们发现开源数据库已经占据了前五名的一半。

一个不容忽视的变化已经发生:开源为数据库创造了新的发展机会,其中17个月的开源和openGauss的强大性能就是典型的例子。

2020年6月,openGauss数据库正式向公众开放。作为国内第一个使用木兰松许可v2的openGauss开源,受到了开发者的广泛讨论。openGauss在过去一年左右有哪些新的发展?在中国开源爆炸的趋势下,开源数据库的发展机遇在哪里?对此,CSDN专访了清华大学计算机系教授、副主任、openGauss总架构师李国梁,分享openGauss的实践经验,探索开源数据库的创新突破。

开源17个月,openGauss势头强劲。

从2000年开始,华为开始开发自己的数据库,所以openGauss深度融合了华为多年数据库的技术积累,凝聚了研发;数千名工程师的投资。OpenGauss结合企业级场景的需求,在企业核心交易系统和海量交易场景中提供灵活高效的解决方案。

根据2021年10月莫天伦国内数据库排名榜,openGauss以显著成绩位列Top3:目前openGauss已累计拥有2100名开发者和2.56万名用户,70家企业签署了《企业贡献者协议》(CLA),加入了openGauss社区,12家企业发布了基于openGauss的商业分发版本,openGauss已逐步在政府、金融、运营商、电力、和平、国民经济、民生等行业商用。为了在生态建设和人才培养上持续发力,在刚刚结束的华为All-Connection 2021大会上,openGauss社区理事会正式成立,这标志着openGauss社区将不遗余力地为数据库产业生态建设贡献力量。

openGauss的四大技术优势

在openGauss正式开源之前,已经在华为部署应用多年,有效支撑了全球众多运营商和数十亿用户的基础通信服务。OpenGauss经历了华为的真正锤炼,形成了以下四大技术优势:高性能、高可用性、高安全性、易运维。

性能方面,根据数据显示,与MySQL和PostgreSQL相比,openGauss的性能明显领先,性能优势不止一倍。李国梁介绍,openGauss的软硬件设计得很好,集成了当前硬件多核NUMA架构,采用了Numa-Aware数据结构。其多核架构并发控制技术,结合鲲鹏硬件优化,在Benchmark的TPCC测试中实现了150万tpmc的性能。

在高可用性方面,openGauss支持主备同步,使得RTO可以在10秒内升级到主备服务。在智能运维方面,openGauss采用AI进行智能参数调优和索引推荐,可将传统索引降低85%,索引推荐准确率达到90%。通过AI自动参数推荐,可以在几秒钟内推荐出最优参数,有效提升数据库性能。

基于Paxos分布式一致性协议的日志复制和主机选择框架。支持在线添加、删除节点和在线转移Leader功能。支持节点角色多样性,有高效的流量控制算法。通过自仲裁摆脱第三方仲裁组件,多数表决能力,大大缩短RTO时间,防止任何故障下的裂脑双主。支持节点同步和异步部署的多集群部署模式。提高主备节点日志复制效率,提高系统最大吞吐量。借助openGauss的DCF高可用组件,用户不仅可以避免脑裂的风险,还可以

在开放性方面,openGauss是国内第一个使用木兰松许可v2的数据库,内核能力对开发者完全开放。

正是openGauss不断追求技术创新,融合软硬件技术、AI、安全等前沿技术,加速了中国数据库产业的发展。比如邮储银行今年新升级的新核心系统就是使用openGauss数据库作为基础支撑。

开放高斯生态建设与人才培养

根据中国信息通信研究院发布的《数据库发展研究报告(2021年)》,2020年全球数据库市场规模为671亿美元,其中中国数据库市场规模为35亿美元,占

全球 5.2%。预计到 2025 年,全球数据库市场规模达到 798 亿美元,中国的 IT 总支出将占全球 12.3%。中国数据库市场在全球占比将在 2025 年接近中国 IT 总指出在全球的占比,中国数据库市场总规模将达到 688 亿元。

我们观察到中国数据库仍有巨大的发展潜力,在谈及当下中国市场需要什么样的数据库时,李国良表示,一是存量市场的替换;二是应用创新,打造自身核心技术;三是需要共同新的生态和新的应用场景,才能做到百花齐放。

当前 openGauss 积极进行生态建设:通过打造系列技术课程学习,全方位解读 openGauss 设计和使用,让更多人了解 openGauss 底层技术。推出相关的数据库认证,培养高质量数据库人才。同时成立 openGauss 社区理事会,由 18 家主流的 DBV、关键行业客户、高校学术机构组成,共同将 openGauss 打造成更好的企业级开源数据库,建设“共建、共享、共治”的 openGauss 开源社区,促进全球数据库生态发展。

技术发展离不开人才的培养,在数据库专业人才的投入上,华为推出《CCF-华为数据库创新研究计划》,资助国内科研院的教师在数据库领域开展创新研究。李国良作为该计划的委员之一,表示其最终目标是为了技术创新,一是将高校的前沿研究技术落地到 openGauss,赋能千行百业;二是高校能有效地了解真实企业核心需求,及时开展相关研究,再将技术反哺社区,充分促进数据库产学研融合。

目前 openGauss 已走进 72 所高校,未来三年 openGauss 将扩大到全国 500 所高校,通过开课、联合科研创新等形式,积极为产业界培养10 万高质量 DBA,50 万专业数据库人才。

未来展望

李国良强调,openGauss 致力于为我国基础软件的建设服务,希望给社会各行业提供灵活高性能的数据库解决方案,另外通过生态建设,让学生、开发者、DBA 等各角色均能上手使用。如今 openGauss 在金融、政府、电力、能源等行业落地应用,下一步将会进军工业制造等更多行业,从而辐射千行百业,同时积极携手生态伙伴、高校企业共同建设 openGauss 生态。

最后,作为一名 20 年数据库技术老兵,李国良语重心长地总结这一路走来的心路历程:“在从事数据库的过程中,我们可能会遇到很多人,听到很多不同的声音。我最大的体会便是‘坚持’,坚信只要踏踏实实去做一件事,一定能取得成功。研发数据库和‘熊掰棒子’故事一样,假如掰一个换一个的话,可能最后没有任何收获。这便是传统数据库遇到的最大问题,一些人可能中间换了很多路线,最后什么也没有成功。但我们只要认准一条路,并坚持走下去,成功指日可待。”

嘉宾简介:李国良,清华大学计算机系教授、副主任,openGauss 总架构师,计算机学会数据库专委会副主任。数据库领域顶级会议SIGMOD 2021大会主席、VLDB 2021 Demo主席、ICDE 2022 Industry主席、VLDB 青年贡献奖获得者、IEEE TCDE杰出新人奖获得者。在数据库领域三大会议SIGMOD、VLDB、ICDE发表论文150余篇,他引1万余次。

看完文章觉得不过瘾?

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。