超级计算集群(SCC )概述SCC概述超级计算集群(Super Computing Cluster，SCC )使用高速RDMA网络互连的CPU和GPU等异构加速设备实现高性能为工程计算、数据分析、音视频处理等APP应用，提供极致的计算性能和并行效率计算集群服务
SCC实例类型支持CPU Memory网络存储的场景ecs.scch5.16xlarge 64核心skylakexeongold 61493.1 GHz 192 gbpsrdma高效云(可选容量) SSD云ecs.sccg5.24xlarge 96核心skylakexeonplatinum 81632.5 GHz 384 gb50 gbpsrdma高效云(容量选项)，适合单核计算密集型APP场景适用于内存需求高、可扩展的科学计算场景和高并发批处理场景。 使用SCC实例创建E-HPC集群的创建流程目前包含SCC实例的可用区域主要为华东1可用区域h、华东2可用区域b、华北1可用区域c、华北3可用区域a。 考虑到库存的变化，用户可以在创建群集之前通过ECS管理控制台查看SCC实例如何分布在不同的可用区域。 从E-HPC管理控制台进入集群创建页，在计算节点下的复选框中选中SCC实例。 SCC复选标记：在上图中，SCC实例的CPU核心数以vCPU数表示，但实际出厂的SCC实例处于超线程关闭(HT off )状态。 这意味着scch5.16xlarge和sccg5.24xlarge的CPU核心数量分别为32个物理和48个物理核心。
有关后续创建过程，请参阅创建E-HPC群集和配置硬件信息。 SCC实例的核心硬件升级之一是具有50Gbps的Roce(RDMAoverconvergedEthernet，ROCE )网络，因此网络信息与普通ECS实例有很大的不同。
与常规ECS实例相比，ECS管理控制台显示了两个IP地址，因为SCC实例同时具有10Gbps VPC网络和50Gbps RoCE网络的网络端口。 SCC IP
典型的SCC实例显示以下网格信息： bond0是RoCE网格，eth0是VPC网格。 SCC网关信息
验证网络连接性同一E-HPC集群下的SCC实例之间的VPC网络IP和RoCE网络IP通过可以ping通信的同一E-HPC集群下的SCC实例之间的VPC网络IP和RoCE网络IP进行通信网络峰值带宽和延迟带宽测试示例##带宽测试IB _ read _ bw-a-q20-- report _ GB its # #服务器端compute0运行IB _ read _ bw-a-a 客户端compute0带宽测试IB _ write _ bw-a-q20-- report _ GB its # #服务器端compute0运行IB _ write _ bw-a-q20-- report 服务器端compute0运行ib_read_lat -F -a compute0 ##客户端compute1运行##写入延迟测试ib_write_lat -a ## 服务器端compute0运行IB_write_lat-0客户端compute1运行监控RoCE网络实际带宽使用情况在SCC实例的root用户下运行rdma_monitor -s实时
使用E-HPC性能监视和分析引擎客户端来监视每个SCC实例的RoCE网络带宽随时间的变化。 分布式设备监视RoCE
因为在SCC群集中编译并运行MPI程序的SCC实例同时支持50Gbps RoCE网络和10Gbps VPC网络，所以运行交叉节点MPI程序会导致节点之间的数据流量被破坏本节建议您在SCC群集中使用英特尔MPI编译并运行交叉节点MPI程序。
编译交叉节点MPI程序并安装英特尔MPI e-HPC，即可集成英特尔MPI 2018版本。 用户只需在E-HPC控制台群集创建或软件管理功能界面中选中IntelMPI 2018即可安装。
intelmpi
如何配置MPI环境变量1---- e----集成在HPC中的Module管理工具------module avail-----module avail------ opt Intel/impi/2018.3.222/syd wg64/mpicc方法执行IntelMPI附带的环境变量配置脚本$ compilers _ and _ libraries/Linux/syd WG/syd WG
- DC make _ c _ compiler=mpicc-DC make _ cxx _ compiler=mpic xx交叉节点运行MPI程序在E-HPC软件环境中使用IntelMPI编译的软件/syd WG/sh # PBS-Joe # PBS-lselect=: NCP us=: MPI procs=module load Intel-MPI/2018 mpirun在用户本地环境中编译/sydWG/sh#PBS-JOE# PBS-lselect=: NCP us=: MPI procs=exporti _ MPI _ fabrics=shm 3360 daplmoduleloadinter 2018 mpirun-gen VI _ MPI 使用聚合客户端性能监视功能，可以实时监视SCC实例的CPU使用率、访问带宽和RoCE网络带宽等性能数据。 SCC性能