首页 > 编程知识 正文

react性能优化方法,内存物理使用率

时间:2023-05-04 11:14:27 阅读:57320 作者:2164

在web APP应用中,大量的数据读写给磁盘访问带来了很大的压力。 虽然Cache可以解决部分数据读取压力,但磁盘通常仍然是系统中最严重的瓶颈。 存储在磁盘上的数据是网站上最重要的资产,磁盘的可用性和容错能力也很重要。

1机械硬盘vs .固态驱动器机械硬盘是目前最常用的硬盘,通过电机驱动磁头臂,使磁头移动到指定磁盘

由于要在位置访问数据,必须在每次访问数据时移动磁头臂,因此机械硬盘连续访问数据(例如

访问的数据存储在连续的磁盘空间中时)和随机访问时,访问的数据存储在不连续的磁盘空间中时,移动磁头臂的次数差异很大,因此性能也相差很大。 机械式硬盘结构如下

固态硬盘又称固态硬盘或闪存驱动器,没有机械装置,数据存储在可持续记录中

存储在的硅晶体上,所以可以像存储器一样快速随机访问。 另外,SSD消耗电力小,消耗电力也少

光盘的振动和噪声。 固态硬盘如图4.19所示。

在网站的APP应用程序中,大多数APP应用程序访问数据是随机的,在这种情况下固态硬盘具有更好的性能

表现。 但是固态硬盘还不成熟,需要提高可靠性和性价比,因此固态硬盘的使用还在探索中。 但是我相信随着SSDI技术的提高,取代传统的机械硬盘是迟早的事。

如2 B树vs LSM树本书前面所述,由于传统的机械磁盘具有高速的顺序读写、低速的随机读写的访问特性,所以该特性对磁盘存储结构和算法的选择有很大的影响。

为了改善数据访问特性,文件系统或数据库系统通常对数据进行排序和存储,以加快数据检索。 因此,必须确保数据在不断更新、插入和删除后仍然有序。 传统的关系数据库使用b树

树b是专门为磁盘存储优化的n叉排序树,以树节点为单位存储在磁盘上。

从根位置查找包含所需数据的节点号和磁盘位置,将其加载到内存中,然后继续查找,直到找到所需数据。

当前,数据库往往采用两级索引的b树,树的层次最多为三级。 因此,可能需要5次磁盘访问

要更新记录,必须通过三次磁盘访问获取数据索引和行ID,然后再次执行数据文件读取操作和数据文件写入操作。

但是,由于磁盘访问每次都是随机,所以以往的机械式硬盘在数据的随机访问时的性能差,

每次数据访问都需要多次访问磁盘,这会影响数据访问的性能。

目前,许多NoSQL产品都采用LSM树作为主要数据结构,如图4.21所示。

LSM树可以被视为n阶合并树。 所有数据写入(包括插入、修改和删除)都在内存中进行,并创建新记录。 更改后将记录新的数据值,删除后将记录删除标志。 这些数据仍然是内存中的排序树,当数据量超过设置的内存阈值时,将该排序树与磁盘上最新的排序树合并。 如果此排序树中的数据量也超过了设置的阈值,它将与磁盘上的上一个等级树合并。 在合并过程中,旧数据将被最新更新的数据复盖(或记录为不同的版本)。

如果需要读取操作,则始终从内存中的排序树开始搜索,如果找不到,则从磁盘上的排序树开始按顺序搜索。

LSM树中的数据更新不需要磁盘访问,在内存中完成,比b树快得多。 如果数据访问以写入操作为中心,读取操作集中在最近写入的数据上,则使用LSM树可以

大大减少对磁盘的访问次数,缩短访问时间。

作为存储结构,b树不是关系数据库特定的,NoSQL数据库也可以使用b树。 同样,LSM也可以用于关系数据库。 另外,随着固态硬盘的成熟和大容量持久存储的内存技术的出现,我们相信b树这一“旧”存储结构将再次恢复青春。

3 raid vs.HDFS磁盘冗馀阵列(raid )技术主要用于改善磁盘访问延迟,提高磁盘可用性和容错能力。 当前,服务器级计算机支持插入多个磁盘,RAID技术允许同时向多个磁盘读取/写入数据和备份数据。

假设服务器上有n个磁盘。

RAID0

当数据从存储器缓冲器写入磁盘时,数据根据磁盘的数量被分成n部分,这些数据同时

对n张磁盘进行写入,使整个数据的写入速度为1张磁盘的n倍。 读取时也是如此,因此RAID0具有非常快的数据读写速度,但RAID0不备份数据,即使n张磁盘中有1张损坏,也会破坏数据完整性,损坏所有磁盘的数据。

RAID1

将数据写入磁盘时,可以同时将一个数据写入两个磁盘,以确保其中一个磁盘不会损坏

如果数据丢失,插入新磁盘时,将通过复制数据自动修复,获得非常高的可靠性。

RAID10

将RAID0和RAID1两种方案结合起来,将所有磁盘平均分为两部分。

in相当于RAID1,但使用RAIDO技术同时读写每个磁盘中的M2张磁盘,可以提高可靠性和性能,但RAID10的磁盘利用率较低,一半磁盘会写入备份数据

RAID3

通常,一台服务器上的两个磁盘不会同时损坏,但如果只有一个磁盘损坏,则可以使用其他磁盘上的数据恢复损坏磁盘上的数据,就像这样

在保证可靠性和性能 的同时,磁盘利用率也得到大幅提升。

在数据写入磁盘的时候,将数据分成N-1份,并发写入N-1块磁盘,并在第N块磁 盘记录校验数据,任何一块磁盘损坏(包括校验数据磁盘),都可以利用其他N-l块磁盘的数据修复。

但是在数据修改较多的场景中,修改任何磁盘数据都会导致第N快磁盘重写校验数据,频繁写入的后果是第N块磁盘比其他磁盘容易损坏,需要频繁更换,所以RAID3很少在实践中使用。

RAID5

相比RAID3,方案RAID5被更多地使用。

RAID5和RAID3很相似,但是校验数据不是写入第N块磁盘,而是螺旋式地写入所 有磁盘中。这样校验数据的修改也被平均到所有磁盘上,避免RAID3频繁写坏一块磁盘的情况。

RAID6

如果数据需要很高的可靠性,在岀现同时损坏两块磁盘的情况下(或者运维管理水 平比较落后,坏了一块磁盘但是迟迟没有更换,导致又坏了一块磁盘),仍然需要修复数 据,这时候可以使用RAID6。

RAID6和RAID5类似,但是数据只写入N-2块磁盘,并螺旋式地在两块磁盘中写入
校验信息(使用不同算法生成)。

在相同磁盘数目(N)的情况下,各种RAID技术的比较如表4.3所示。

RAID技术可以通过硬件实现,比如专用的RAID卡或者主板直接支持,也可以通过 软件实现。RAID技术在传统关系数据库及文件系统中应用比较广泛,但是在大型网站比 较喜欢使用的NoSQL,以及分布式文件系统中,RAID技术却遭到冷落。
例如在HDFS ( Hadoop分布式文件系统)中,系统在整个存储集群的多台服务器上 进行数据并发读写和备份,可以看作在服务器集群规模上实现了类似RAID的功能,因此

HDFS以块(Block )为单位管理文件内容,一个文件被分割成若干个Block,当应用 程序写文件时,每写完一个Block, HDFS就将其自动复制到另外两台机器上,保证每个 Block有三个副本,即使有两台服务器宕机,数据依然可以访问,相当于实现了 RAID1 的数据复制功能。

当对文件进行处理计算时,通过MapReduce并发计算任务框架,可以启动多个计算 子任务(MapReduce Task ),同时读取文件的多个Block,并发处理,相当于实现了 RAID0 的并发访问功能。

在HDFS中有两种重要的服务器角色:NameNode (名字服务节点)和DataNode (数 据存储节点)。NameNode在整个HDFS中只部署一个实例,提供元数据服务,相当于操 作系统中的文件分配表(FAT),管理文件名Block的分配,维护整个文件系统的目录树 结构。DataNode则部署在HDFS集群中其他所有服务器上,提供真正的数据存储服务。

和操作系统一样,HDFS对数据存储空间的管理以数据块(Block )为单位,只是比 操作系统中的数据块(512字节)要大得多,默认为64MBO HDFS将DataNode上的磁盘 空间分成N个这样的块,供应用程序使用。

应用程序(Client)需要写文件时,首先访问NameNode.请求分配数据块,NameNode根据管理的DataNode服务器的磁盘空间,按照一定的负载均衡策略,分配若干数据块供Client 使用。

当Client写完一个数据块时,HDFS会将这个数据块再复制两份存储在其他DataNode
服务器上,HDFS默认同一份数据有三个副本,保证数据可靠性。因此在HDFS中,即使
DataNode服务器有多块磁盘,也不需要使用RAID进行数据备份,而是在整个集群上进
行数据复制,而且系统一旦发现某台服务器宕机,会自动利用其他机器上的数据将这台 服务器上存储的数据块自动再备份一份,从而获得更高的数据可靠性。
HDFS配合MapReduce等并行计算框架进行大数据处理时,可以在整个集群上并发
读写访问所有的磁盘,无需RAID支持。

4 小结

网站性能优化技术是在网站性能遇到问题时的解决方案。而网站的性能问题很多是 在用户高并发访问时产生的,所以网站性能优化的主要工作是改善高并发用户访问情况 下的网站响应速度。本章开篇所举的例子,当老板说“我们要改善网站性能”的时候, 他期望的是在A方案的基础上,不管是100个并发访问还是200个并发访问,响应时间 都能达到1秒。而架构师能做到的,则是利用分布式的方案改善网站并发特性,由于分 布式不可避免地会带来架构复杂、网络通信延迟等问题,所以最终设计出来的可能是B 方案:缩短高并发访问响应延迟的同时,却延长了原来低并发访问时的响应延迟。架构 师对这种可能性要心中有数,合理调整相关各方对性能优化的心理预期。

网站性能对最终用户而言是一种主观感受,性能优化的最终目的就是改善用户的体 验,使他们感觉网站很快。离开这个目的,追求技术上的所谓高性能,是舍本逐末,没 有多大意义。而用户体验的快或是慢,可以通过技术手段改善,也可以通过优化交互体 验改善。

即使在技术层面,性能优化也需要全面考虑,综合权衡:性能提升一倍,但服务器数量也需要增加一倍;或者响应时间缩短,同时数据一致性也下降,这样的优化是否可 以接受?这类问题的答案不是技术团队能回答的。归根结底,技术是为业务服务的,技 术选型和架构决策依赖业务规划乃至企业战略规划,离开业务发展的支撑和驱动,技术 走不远,甚至还会迷路。

前沿技术总是出现在前沿业务领域。近几年,以Google为首的互联网企业 领跑IT前沿技术潮流,是因为互联网企业的业务发展远超传统IT企业领域, 面临更多挑战,对IT系统提岀了更高的要求。

新技术的出现又会驱动企业开展新的业务。亚马逊等互联网公司利用自己 的技术优势进军企业级市场,以技术驱动业务,开展云计算、SaaS等新兴IT 业务,逐步蚕食IBM、HP、Oracle.微软等传统软件巨头的市场。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。