首页 > 编程知识 正文

腾讯开源前端框架,开源文件存储系统

时间:2023-05-05 01:26:43 阅读:171177 作者:502

上一篇: 90后员工猝死的全过程

tendisstorageedition是腾讯互娱CROS DBA团队由云数据库团队自主设计开发的开源分布式高性能KV存储。 它与redis协议完全兼容,并使用rocksdb作为存储引擎。 用户可以从redis客户端访问tendisstorageedition,并且很少需要更改代码。 tendisstorageedition还支持远远超过内存的磁盘空间,可以大幅降低用户的存储成本。

与Redis Cluster类似,tendisstorageedition使用非集中式群集管理体系结构。 通过数据节点之间的gossip协议通信,用户可以访问群集中的任何数据节并将请求路由到正确的节点。 群集节点还支持自动检测、故障检测、自动故障切换和数据转移等功能,大幅降低运输成本。

特性Redis兼容性

与redis协议完全兼容,支持大多数redis指令

永久存储

使用rocksdb作为存储引擎,以特定格式将所有数据存储在rocksdb中,最多支持Pb级存储

去中心化体系结构

与redis cluster的分布式实现一样,所有节点都可以通过gossip协议进行通信,指定hashtag控制数据的分布式和访问,使用和运输成本极低。

水平扩展

群集支持添加和删除节点,可以根据slot在任意两个节点之间迁移数据。 在扩展和缩减过程中,对APP运营公司是透明的,并且支持多达1000个节点的扩展。

高可用性故障

自动检测故障节点,如果发生故障,slave将升级为master继续对外服务。

redis冷热混合存储的主要组件

得益于Tendisstorageedition的设计和内部优化,Redis和Tendisstorageedition可以一起工作,成为tendis冷热混合存储。 混合存储非常适合KV存储场景,实现了性能和成本的平衡。 对于redis,冷却占用大量存储的冷数据可以降低高达80%的成本,同时确保热数据在redis中的可访问性。

Tendis 冷热混合存储版整体架构Tendis冷热混合存储版主要为Proxy,3358www.Sina.com/,缓存层 Redis,3http://ww

存储层 Tendis 存储版:负责路由和分发客户端请求,并将不同Key的命令分发到正确的分片。 Proxy还负责收集部分监控数据,以及在线禁用高危命令等功能。

同步层 Redis-sync:缓存层Redis是基于社区Redis 4.0开发的。 Redis具有以下功能。 1)版本控制2 )自动从缓存层丢弃冷数据并将热数据从存储层加载到缓存层; 3 )使用Cuckoo Filter表示总量的Keys,防止缓存穿透4 )基于RDB AOF扩展容量方式,扩展容量更加高效方便。

33558 www.Sina.com/: tendisstorageedition以基于RocksDB自研的Redis协议兼容KV存储引擎为重点,在腾讯集团内运营多年,具有良好的性能和混合存储系统主要负责海量数据的存储和读取、数据备份、增量日志备份等功能。

Proxy 组件: 1)将并行数据导入存储层Tendis; 2 )服务无状态,出现故障重新提升; 3 )自动路由数据。

Tendis冷热混合储存的几个重要特性介绍:

缓存层Redis Cluster和存储层Tendis Cluster分别进行缩放、集群自主管理等。

冷数据自动冷却,降低内存成本;热数据自动缓存,减少访问延迟

缓存层 Redis Cluster开放源码地址: https://github.com/Tencent/Tendis

最后,关注公众号的互联网架构师,并在后台回复。 2T,我整理创作的Java系列教程很充实。

建议您阅读

1、2019年9月全国程序员工资统计,你是什么水平?

2、怎样才能成为优秀的架构师?

3、从零开始构建创业公司后台技术堆栈

4、程序员一般可以从什么平台获得私密性?

5、37岁的程序员被裁了,120天找不到工作,没办法去了一家小公司,结果无知了.

6、滴滴业务中台搭建实践,首次曝光

7、不认识命运,从十年的流水线工人,到谷歌上班的程媛媛,湖南妹子的励志故事

8、15张图可以看出废话和效率的区别!

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。