一、虚拟集群的介绍、设计思路和结构
使用虚拟化集群的目标是克服独立虚拟化的局限性，利用技术手段提高虚拟机的可用性，最终实现不中断业务或缩短中断时间，更安全地确保业务数据的目标。
1 .虚拟化集群介绍
1 )什么是虚拟化群集
虚拟机集群最明显的特点是有共享存储。 有了共享存储，虚拟机可以实现非常快速的在线迁移，并在虚拟化层配置高可用性。 笔者在生产环境中使用的集群有两种基于商业存储和开源分布式文件系统的存储方式。
2 )基于虚拟化集群的高可用性和APP应用层的高可用性的差异
高可用性是一种常用的运输技术，在系统、网络、数据库、Web业务等各个应用层面都有应用。 高可用性技术主要包括至少两个节点，在主节点发生故障时快速切换到备份节点。 为了避免备用节点的错误判断，有时会有第三个节点，或者主节点和备用节点都可以访问的存储空间，以用于仲裁判断。 APP级别的高可用性通常具有浮动IP，也具有在发生切换时IP从主节点漂移到备用节点的特点。 APP级的高可用性一般切换时间从几毫米到几秒钟就比较快，同时APP级的高可用性一般需要常用的Keepalived、Heartbeat等专用软件。
虚拟化级别的高可用性是指在一个计算节点发生故障时，自动启动另一个计算节点发生故障的节点的虚拟机的虚拟机系统级别的高可用性。 注意如果虚拟机上的业务在启动时未自动启动，则即使虚拟机自动启动，也不能保证业务级别的自动恢复。
另一个问题是，即使虚拟机启动，如果启动到虚拟机一半的系统堵塞，则无法立即重新启动业务
虚拟化层高可用性的典型业务恢复，实际上是系统重新启动的时间加上业务通电后启动的时间，通常为分钟级别。
虚拟化层的高可用性有业务恢复的风险，业务恢复时间也相对较长，但虚拟化层的高可用性有非常大的优点。 也就是说，不需要在APP级配置，高可用性的范围大幅扩大，难以在APP应用层使用高可用性技术的APP应用也能够实现高可用性，特别是在特定的专用软件领域。
实际上，虚拟机的高可用性和APP级的高可用性并不矛盾。 也可以在虚拟机的系统中配置APP级的高可用性。 在进行这种配置时，请注意主备份节点位于不同的主机上。
3 )使用虚拟化群集后端存储
最初，笔者在生产环境中使用的集群是以文件柜为单位的小集群。 主要是因为笔者一直在构建私有云，所以在IDC机房，橱柜都很昂贵。 为了充分利用资源，合理节约成本，笔者私有云的一种设计思想是可以根据机柜灵活扩展或伸缩。
之后，随着虚拟化规模的扩大，还进行了基于若干开放源代码分布式文件系统的集群构建。 基于开源分布式文件系统的集群规模更大，可扩展性更强。 在第9章、第10章详细说明了适用于KVM的开源分布式文件系统。 由于本文档的第11、12和13章详细介绍了开源虚拟化管理平台，因此本章不讨论开源分布式文件系统和管理平台。
2 .使用虚拟化群集的好处
虚拟化群集相对于独立虚拟化具有以下优点：
q通过快速在线迁移(Live Migration )，消除了因设备、系统维护而导致的业务计划内的停机时间。
q高可用性(HA )，如果一个计算节点发生故障，上面的虚拟机可以立即在其他计算节点上运行，从而大大缩短了计划外停机时间。
q动态资源调度在业务负荷变化而计算节点压力分布不均匀时，可以手动或自动平衡物理机负荷。 在整体压力较小的时间段，也可以将虚拟机集中在部分计算节点上，暂时关闭不使用的计算节点，以实现节能目标。
q业务部署迅速，集群将资源池化，与管理平台组合，在集群容量范围内业务部署速度非常快。
q数据更安全，后端存储采用冗余度更高的商业存储或分布式文件系统，数据可靠性可达到99.99%以上。
q网速、可靠性更高，集群网络采用冗余体系结构，网络设备、网络连接均为双重冗余，网速更高，可靠性也更高，单一网络设备、单一网络电缆
提示：
1 )什么是计划内和计划外停机时间
计划内停机时间是指可计划的停机时间，如定期维护、预先通知的维护等。 计划外停机是指由突发事件(如硬件故障、网络DDOS攻击等)引起的停机。 由于计划内的停机时间通常是事先预测的，所以采取了预防措施，没有数据丢失，对业务的损失比较小。 由于计划外停机是突发事件，对业务的损失相当大。 运输维度的重要作用之一是通过技术手段减少计划外和计划内的停机时间。 对于虚拟化来说，虚拟化集群提供了在线虚拟机迁移，是完全冗余的设计，如果需要维护计划中的硬件和软件，则可以消除计划中的停机时间。 如果主机发生紧急硬件故障，虚拟机可以立即在其他主机上启动，因此虚拟化群集也可以有效地减少意外停机时间。
2 )在线转移不是灾害对策手段
通过在线迁移，实际迁移的是虚拟机的内存，当瘦主机发生故障时，虚拟机的内存信息已经丢失。 此时，虚拟机无法在线迁移。 因此，在线迁移解决的是计划内维护问题，例如，要升级主计算机的内存，请将主计算机的虚拟机在线迁移到其他主计算机，然后完成内存升级
3 .集群设计和体系结构
1 )虚拟化集群设计
为了最大限度地提高虚拟机的在线时间和灵活性，虚拟化群集的设计必须满足以下要求：
>q 有共享存储，虚拟机能够在线迁移；
q 通过增加计算节点、存储、网络设备可以横向扩展；
q 没有单点故障，计算节点有多个，商业存储为双控制器，分布式文件系统镜像写多份，网络设备冗余；
q 性能满足要求，并且通过增加设备，性能可以扩展
2）虚拟化集群的架构
一套虚拟化集群体系包括以下组成部分：
q 若干计算节点，承载虚拟机的计算、内存、网络资源；
q 管理节点及管理平台，管理虚拟机的镜像，虚拟机生成、维护、销毁的生命周期，虚拟机的调度；
q 后端存储，存储虚拟机镜像存放；
q 网络设备。
二、虚拟化集群技术方案
1. 前端计算
虚拟化集群前端计算节点可以使用普通机架式服务器，也可以使用刀片服务器。
1）机架式服务器做为计算节点的优缺点
机架式服务器做为计算节点的优点是：
q 架构简单，安装配置方便；
q 扩展节点数量和升级较为容易；
q 成本有一定的优势。
缺点是：
q 随着节点数量的增多，占用的机柜空间也在增大，单机柜服务器密度低；
q 网络结构复杂，每台服务器有公网、私网、存储网；
q 交换机端口数量多，接线容易出错。
2）刀片服务器做为计算节点的优缺点
使用刀片服务器作为计算节点的优点是：
q 刀片服务器内置交换机，可以灵活的配置网络；
q 刀片服务器连线简单，占有交换机端口数量少，网络非常简洁；
q 单位机柜服务器密度大；
q 功耗低；
q 刀片服务器冗余电源和风扇，冗余交换模块，是全冗余的架构。
使用刀片服务器的缺点是：
q 成本较高；
q 配置复杂，安装配置需要专业的知识；
q 往往需要改造机柜电源，并受限于机柜最高电流。
另外目前还有一种多节点服务器，就是在1U或者2U的空间里面，能够容纳2到4台服务器，这些服务器很像是刀片服务器，共享电源和机框，但是网络接口独立。多节点服务器密度介于机架式服务器和刀片服务器之间，使用上和机架式服务器完全一样。
服务器的配置选型，根据笔者的经验，选择比较高的配置，虽然初期投入高，但是长远看，因为能够容纳更多的虚拟机，其实是节省成本的。宿主机在运行一段时间后，往往会发现内存是瓶颈，所以一开始配置的时候，内存尽量配置大一些。具体宿主机如何选型在第15章已经有详细的介绍，本章就不重复介绍了。
3. 后端存储技术方案
虚拟化集群的后端存储可以使用商业存储和分布式文件系统，商业存储有三类：NAS、IP SAN、FC SAN。
1）NAS共享存储
NAS（NETWORK ATTACHED STORAGE ）即网络附加存储，网络上直接挂接的存储设备，相当于一个网络文件共享服务器。
测试环境可以用一台普通的主机模拟NAS，只要这台主机有自己的磁盘和文件系统，并且对外提供访问文件系统的接口。最常见的NAS有Linux下的NFS和windows下的CIFS。
2）IP SAN共享存储
SAN（STORAGE AREA NETWORK）即存储区域网络，主要是基于TCP/IP的网络来实现数据存取，即传输介质为IP网络。通过IP网络将计算计算节点和存储设备连接起来，计算节点通过发送Block I/O的请求到存储设备，最常见的就是用ISCSI技术，计算节点通过SCSI协议发出读取数据的请求，并用TCP/IP包封装SCSI包，就可以再TCP/IP网络中进行传输，即SCSI over TCP/IP。
测试环境也可以用普通服务器模拟ISCSI存储。
3）FC存储
FC（Fibre Channel 光纤通道）SAN类似于IP SAN，只是以光纤作为传输介质，性能较高，目前使用最广。计算节点上安装光纤接口的HBA（Host BusAdapter，提供服务器内部的I/O通道与存储系统的I/O通道之间的物理连接）卡，为了冗余HBA卡一般有两块，分别接两台光纤交换机，存储一般有两个控制器，也分别接两台光纤交换机，达到全容易的目标。FC SAN计算节点直接将I/O请求通过FC网络发送到存储设备，性能非常高。
4）生产环境如何选择存储类型
在实际部署的生产环境中，选择存储类型，取决于以下几个因素：
q 业务性能及可靠性需求
q 预算
q 运维对技术熟悉程度
一般来说，对性能要求非常高的业务，使用FC SAN存储，FC SAN存储也是成本最高的一种方案。如果业务性能需要稍低，可以使用NAS、IP SAN的存储，NAS、IP SAN的存储是性价比比较高的方式。如果业务主要是CPU消耗型的，可以考验使用分布式文件系统，本书第9章介绍的DRBD、GlusterFS，第10章介绍的CEPH，工作都很稳定，但是性能相对比较低，很适合CPU消耗型的虚拟机。
关于NFS和ISCSI，业内一直有争论，NFS配置简单，但是因为是应用层的协议，有人认为性能低，其实商业存储做了许多优化，性能也不见得比ISCSI差。如何选择主要取决于预算、运维的技术习惯、具体的存储品牌型号，笔者生产环境喜欢使用ISCSI存储。
提示：
商业存储在选择的时候，尽量选择双控制器，因为选择商业存储就是为了性能和可靠性，如果是单控制器，就不能做到高可用，在控制器层面没有容灾。另外，目前万兆已经是趋势了，在选择IP存储的时候，推荐选择万兆网络。
（内容节选自《深度实践KVM》）