Proxmox VE是一个完整的企业虚拟化开源平台。借助内置的Web界面，您可以轻松管理VM和容器，软件定义的存储和网络，高可用性集群以及单个解决方案上的多个开箱即用工具。
网络上有些文章介绍Proxmox的时候，都会着重介绍其超融合、低成本、高可用的私有云平台，华数目前提供Proxmox虚拟化平台的搭建服务，官方订阅Proxmox服务大概有13000多，那么对于虚拟机数量比较少的环境下，用来替代Vmware还是比较不错的，使用Proxmox+Ceph来搭建也较好的节省了硬件成本。
笔者使用4台物理服务器来搭建整个环境，每个节点即是计算节点也是存储节点，也简单实现了网络上说的超融合的架构。
通过Proxmox VE+Ceph（Proxmox自带）来实现。
4台X86 2路服务器配置：
* CPU：2*16c
* MEM：256G
* Disk：32G SSD*2、192G SSD*2、4T*8（配置直通卡）
* 网卡：4口千兆*2、2口万兆*2
首先登陆官网下载Proxmox的镜像，目前应该是6.0版本。
下载地址：https://www.proxmox.com/en/downloads/item/proxmox-ve-6-0-iso-installer
下载完成后，通过U盘安装或者光盘安装都可以。
安装界面如下：（截取了关键几步）
接下去的步骤，点击下一步，按部就班即可。
4台服务器安装完成，即可进行下一步。
集群相关配置安装完成后，网络状态正常的话，登录：https://ip:8006 即可登录Proxmox的管理平台，切记使用火狐或者Chrome。
在其中一台pve服务器的web管理界面上首先创建一个集群：
点击创建集群即可，然后把其他三台加入进来：
配置集群完成后，登录如下：
（笔者已经搭建完成，故截图是已有一些相关虚拟机和配置了~）
这个时候登录会发现需要订阅服务的提醒，目前网络上关于关闭订阅服务都是基于之前的版本，有兴趣可以去找下，当然如果有条件，可以购买订阅服务，毕竟有服务和没有服务是不一样的，Proxmox对比Vmware还是比较小众的，出现问题，在网络上搜索到的内容还是有限，官网订阅如图，可参考：
还有一个禁用官方的收费服务器：
vi修改 /etc/apt/sources.list.d/pve-enterprise.list 将下面这段话注释掉这时候，如果你的设备能链接外网，那么强烈建议apt-get安装ntpdate软件包，且配置好ntp时间同步，这个在之后ceph配置安装过程中是十分重要的。
Ceph安装配置配置Ceph网卡，Proxmox其实是一个定制化的Debian。
nano /etc/network/interface中选择万兆网卡，其实写入配置文件。配置网卡eth0的IP地址auto eth0 表示网卡随系统自动请iface eth0 inet static 表示网卡为静态ip地址address IP地址 表示设置ip地址netmask 255.255.255.0 表示子网掩码gateway 网关地址不需要，因为之前业务网卡已经配置过网关，这里选择另外网段的地址来作为ceph的网络如果设备链接在外网，那么Proxmox6版本中，点击左侧ceph，自动会进行安装，4台机器都安装ceph。
另外一种方式，通过登录服务器命令行去安装：
pveceph install --version 需要的版本 --每个节点安装ceph软件包pveceph init --network 192.168.10.0/24 初始化ceph的网络pveceph createmon --创建mon之后登录网页管理控制台，在其余三个节点都创建mon。
之后再创建OSD，把目前系统上识别出来的硬盘，逐步添加：（笔者已添加完成，故提示没有可用硬盘）
创建pool，这也只需要页面点击即可，命名，size=3表示是三副本（正常），min_size表示最小数据副本，这里需要注意pg_num,一般要保证每一个硬盘上不少于30个，不然整个ceph集群中会有警告，那么根据自身的硬盘数量来设置，后期也可以改，那么就需要去重平衡，这个时间会比较久~
创建RBD存储池，点击左侧存储，添加即可，选择之前的节点即可。
ceph设置基本完成，如图：
熟悉VMware的，其实用Proxmox很容易上手，点击主机，右键选择新建即可：
选择Ceph存储，其他选项下一步根据实际情况来选择。
整个搭建过程并不复杂，登录服务器，常用命令如下：
qm是最重要的命令：
USAGE: qm <COMMAND> [ARGS] [OPTIONS]qm cloudinit dump <vmid> <type>qm guest cmd <vmid> <command>qm guest exec-status <vmid> <pid>qm guest passwd <vmid> <username> [OPTIONS]qm guest exec <vmid> [<extra-args>] [OPTIONS]qm clone <vmid> <newid> [OPTIONS]qm config <vmid> [OPTIONS]qm create <vmid> [OPTIONS]qm delsnapshot <vmid> <snapname> [OPTIONS]qm destroy <vmid> [OPTIONS]qm list [OPTIONS]qm listsnapshot <vmid>qm migrate <vmid> <target> [OPTIONS]qm move_disk <vmid> <disk> <storage> [OPTIONS]qm pending <vmid>qm reset <vmid> [OPTIONS]qm resize <vmid> <disk> <size> [OPTIONS]qm resume <vmid> [OPTIONS]qm rollback <vmid> <snapname>qm sendkey <vmid> <key> [OPTIONS]qm set <vmid> [OPTIONS]qm shutdown <vmid> [OPTIONS]qm snapshot <vmid> <snapname> [OPTIONS]qm start <vmid> [OPTIONS]qm stop <vmid> [OPTIONS]qm suspend <vmid> [OPTIONS]qm template <vmid> [OPTIONS]qm unlink <vmid> --idlist <string> [OPTIONS]qm cleanup <vmid> <clean-shutdown> <guest-requested>qm importdisk <vmid> <source> <storage> [OPTIONS]qm importovf <vmid> <manifest> <storage> [OPTIONS]qm monitor <vmid>qm mtunnel qm nbdstop <vmid>qm rescan [OPTIONS]qm showcmd <vmid> [OPTIONS]qm status <vmid> [OPTIONS]qm terminal <vmid> [OPTIONS]qm unlock <vmid>qm vncproxy <vmid>qm wait <vmid> [OPTIONS] 查看当前主机的虚拟机root@pve1:~# qm listVMID NAME STATUS MEM(MB) BOOTDISK(GB) PID 103 redhat6o11g stopped 16384 150.00 0ceph命令，熟悉ceph的同学，ceph的命令在这边都是适用的。
如查看集群状态：root@pve1:~# ceph -scluster:id: 580f4d51-b80e-4842-b394-484cbd3ad0b6health: HEALTH_OKservices:mon: 4 daemons, quorum pve1,pve2,pve3,pve4 (age 4d)mgr: pve1(active, since 3d)osd: 40 osds: 40 up (since 3d), 40 in (since 4d)data:pools: 2 pools, 640 pgsobjects: 105.74k objects, 410 GiBusage: 237 GiB used, 130 TiB / 130 TiB availpgs: 640 active+clean