首页 > 编程知识 正文

x86架构,分布式系统架构设计

时间:2023-05-05 17:50:58 阅读:169207 作者:1347

本文的操作系统受限软件限制了javatomcatNginxMySQL单机APP应用何时达到集群各并发水平的性能瓶颈和体系结构方案QPS 1000 qp S1 wqps 10 wqps 1000 w的其他需求案例:淘宝数百单体的同时上限C10K问题(单体1w同时) C10M问题(单体1000w同时) ) ) ) ) ) ) ) ) ) ) )。

操作系统限制

Windows的每个进程线程数不能超过2000个

Linux上每个进程的线程数不能超过1000

每次在java Java中打开线程时,软件都会限制占用1MB的JVM内存空间,分配给JVM用于线程堆栈的内存越多,性能越好,但GC的负担也越大。 tomcat Tomcat的默认配置最大请求数为150,支持150个并发请求。 实际上,300-400同时运行的Nginx反向代理同时运行数量2w官网为5w

如果优化,可以稳定地达到10w次/秒的处理性能。

MySQL主键查询:千万级数据1-10 ms

唯一索引查询:千万级数据10-100 ms

非唯一索引查询:千万级数据100-1000ms毫秒

无索引数据:百万级数据1000ms毫秒

插入操作: 1w~10w tps

mysql同时数行业据说可以做500-1000

独立APP应用程序何时进行群集如果某个APP应用程序同时运行250次以上,则必须考虑APP应用程序服务群集。

具体能够同时搭载何种程度,需要看硬件的结构,CPU越多性能越高,

每个并发级别的性能瓶颈和架构方案qps 100是典型的计算机,由常见软件支持,没有什么需要研究的

单服务器、单APP应用程序、单数据库

qps 1000独立软件的性能已达到上限。 例如,tomcat通常不超过500

独立数据库的瓶颈

构建tomcat集群,用Nginx进行APP应用层的负载均衡

当tomcat节点超过5个左右时,集群的session复制广播会占用带宽,服务能力先增加后下降

本地缓存/分布式缓存

从缓存中检索查询热点数据,减轻数据库的压力

分离数据库读写

qps 1w集群的会话共享瓶颈

不同的业务直接与数据库竞争,相互影响性能

独立的写库性能瓶颈

分布式缓存

服务会话,解决会话复制问题

分布式体系结构

按功能点分割系统,分割为独立的子系统,在子系统上构成集群(可以不添加服务,也可以不构成session共享)。

数据库

分布式数据库

分库分表,俊秀荔枝拆表

qps 10w独立Nginx成为瓶颈

构建Nginx集群,通过LVS/F5传输层对qps 1000w进行负载均衡时,用户必须分布在不同的地区,与服务器机房的距离不同,访问延迟明显不同

用户和机房的传输距离成为瓶颈

通过DNS实现机房负载均衡

用户就近/轮询访问不同机房,机房同步信息

系统可实现机房水平扩展,千万至亿级并发量可通过增加机房解决其他需求,2020年最高可达到亿级并发上限,目前市场似乎没有更多需求,期待今后的发展。

但是,其他需求没有得到满足

大数据、人工智能等APP应用需要对海量数据进行检索分析,尤其是复杂的查询、海量文件存储、全文检索、可变数据结构等需求,仅靠数据库无法使用NoSQL数据库搜索引擎ElasticSearch 针对业务升级迭代困难的每个业务板块划分APP码,建立独立的微服务业务准备和部署运行环境,运维复杂的集装箱化技术打包APP /服务Docker、kuberner https://www.cn blogs.com/xiaobug/p/11039259.html

独立并发上限http://www.52im.net/thread-561-1-1.html

C10K问题(单个1w同时)无法在一台机器上创建许多进程。 C10K将创建1万个进程,单个操作系统将无法承受(往往会导致效率低下或完全瘫痪)。

如果采用分布式系统,保持1亿用户在线需要10万台服务器,成本巨大,只有Facebook、Google、雅虎等巨头才有财力购买这么多服务器。

过去10年,在高性能网络编程技术领域经过众多开发人员的努力,较好地解决了目前ssdhb研究的问题1千万并发连接数,C10K问题C10M问题(单机1000w同时);

100万连接/秒:每个连接以此速度持续约10秒钟;

10GB/连接:快速连接互联网

1千万数据包/秒:估计当前服务器每秒处理50K数据包,今后会更多

10微秒的延迟:可伸缩的服务也许能适应这种规模(但是延迟可能会急剧增加)

10微秒抖动:限制最大延迟

同时10个核心技术:软件需要支持更多核心的服务器。 通常,软件可以轻松扩展到四核,服务器可以扩展到更多的核,因此必须重写软件以支持更多核的服务器。)。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。