服务案例

1、硬件安装部署测试

1.1、项目部署了4U计算产品，含 GPU 卡、CPU、内存、主板、网卡、电源等硬件组件，产品须符合行业的标准。在测试过程中，对每个整机进行检查，其外观无损坏、接口无松动。

（1）服务器：

计算能力：定制4U-500服务器具备强大的计算能力，满足大模型训练的需求。本项目选择了具有高性能 GPU 和 CPU 的服务器，采用分布式计算架构，将计算任务分配到多个服务器上。

内存容量：大模型训练需要大量的内存来存储中间结果和模型参数。因此，服务器配置足够的内存容量，避免内存不足导致的性能下降。

存储容量：大模型训练需要大量的存储空间来存储数据集和训练结果。因此，服务器配置足够的存储容量，并且可以通过扩展存储设备来满足不断增长的存储需求。

扩展性：为了支持计算资源的快速扩展，服务器具备良好的扩展性，通过添加服务器节点或扩展存储设备来增加计算能力和存储容量。

（2）网络设备：选用了高速、低延迟的网络设备，满足了大模型训练、游戏渲染中数据传输的需求。匹配高性能交换机等网络设备，以提供高速的数据传输速率。

（3）存储设备：选用高性能、高可靠的存储设备，以满足大模型训练中数据存储的需求。选用固态硬盘（SSD）、磁盘阵列等存储设备，以提供高速的数据读写速度和数据可靠性。

1.2、客户机房已建立硬件安装日志，记录每个组件的安装时间、安装人员、安装状态等信息。

2、软件安装测试

2.1、安装操作系统，选择稳定且适合项目需求的版本定制Linux。在安装过程中，已经进行了系统优化，关闭不必要的服务和端口，提高系统安全性和性能。

安装人员严格按照实施方案设计开展软件安装及检查工作，确保软件安装及各参数符合相关设计。

2.1.1软件安装流程

软件安装需严格按照流程进行，安装调测流程如下：

2.1.2 安装操作系统

本项目为加快上线进度，简化了工程师安装操作，所有设备出厂已经预安装定制操作系统。

2.1.3 批量部署方案

厂家提供部署工具，实现对服务器的批量部署、维护、升级等操作，降低操作难度、提升工作效率。

使用工具自动交付，根据配置文件，提前规划配置脚本进行批量部署，同时根据要求配置检查标准进行批量结果检查。

批量部署操作步骤如下：

a) 从接入交换机获取，获取指定设备mac地址

b）生成mac地址-IP-编号关系表

c）用自动化程序批量自动生成相关配置

d) 下发自动配置到客户机，并进行自动部署

e） 通过后台上报数据验证部署结果。

使用自动化部署的方式进行同类型设备的批量设置，通过工具配置减少了测试干预时间并提高了操作效率。

2.2、安装了驱动程序，驱动程序与 GPU 型号、操作系统版本完全兼容。安装后进行了驱动测试，检查 了GPU 是否被正确识别和正常工作。

2.3、安装必要的库文件，如 CUDA、CUDNN 、客户定制程序等，按照官方文档进行正确配置，确保云上节点，云GPU算力能够正常调用。

3、GPU 单独测试

对每块 GPU 进行压力测试，使用专业的 GPU 测试软件，如 FurMark 等，持续运行一段时间，观察 GPU 的温度、频率、性能等指标是否正常，未出现不出现掉卡现象。

三、测试方案

3.1测试步骤

l 由项目经理提交项目测试方案；

l 测试方案将由客户项目负责人审核；

l 客户项目负责人进行全程监督；

3.2硬件安装

硬件安装项：

3.2.1、格式化存储设备

对存储设备进行格式化，以创建文件系统。使用命令行工具，如 mkfs、fdisk 等，来格式化存储设备。

3.2.2、挂载存储设备

将格式化后的存储设备挂载到服务器的文件系统中。可以使用命令行工具，如 mount、umount 等，来挂载和卸载存储设备。

3.2.3、配置存储服务

启动服务器的存储服务，如 NFS、CIFS 等。可以使用系统管理工具，如 systemctl、service 等，来启动和停止存储服务。

3.2.4、测试存储性能

使用存储性能测试工具，如 fio、iometer 等，测试存储设备的读写性能。

3.3网络配置

3.3.1、设置网络参数：根据智算中心的网络架构，设置服务器的网络参数，如 IP 地址、子网掩码、网关等。可以使用命令行工具，如 ifconfig、ip 等，来设置网络参数。

3.3.2、配置网络服务：启动服务器的网络服务，如 SSH、FTP、HTTP 等。可以使用系统管理工具，如 systemctl、service 等，来启动和停止网络服务。

3.3.3、测试网络连接：使用 ping、traceroute 等工具，测试服务器之间的网络连接是正常。

3.4设备加电测试

3.4.1、服务器并入高性能网络

（1）按照网络规划，将所有服务器连接到高性能网络中。网络连接稳定、可靠，线缆连接正确、牢固。

（2）配置服务器的网络参数，如 IP 地址、子网掩码、网关等，服务器能够正常通信。

（3）进行网络连通性测试，从每台服务器 ping 其他服务器和网络设备，检查网络是畅通。

（4）设备安装调试的主要目标是使本项目采购的设备能够正常运行，与之相联的全部设备正常联通、设备上安装的软件正常运行并能支持其他相关软件的正常运行。

3.4.2、网络性能测试

（1）使用专业的网络测试工具，如 Iperf、PingPlotter 等，测试网络的吞吐量、丢包率等指标。在不同的网络负载下进行测试，模拟分布式训练场景下的网络通信情况。

（2）分析测试结果，判断网络性能是否满足项目需求。如果不满足，进行网络优化，如调整网络设备配置、增加网络带宽等。

3.4.3、网络拓扑结构与技术文档

（1）设计网络拓扑结构图，标注每台服务器、网络设备的位置、连接关系、IP 地址等信息。确保拓扑结构图准确、清晰、易于理解。

（2）编写相关的技术文档，包括网络配置说明、设备清单等。

设备加电测试如下：

四、平台运行测试

完成服务器测试后，进入试运行期。

l 上线前的设备状态和配置检查；

l 上线期间的技术保障，申请保障备件，现场人员值守和远程专家支持；

l 上线后的运行监控，根据客户需求在一定时间内持续关注本次上线设备的运行情况。

1、业务上线前的设备检查

业务上线前，提供设备检查服务，对已安装服务器进行健康检查，排除潜在风险。

GPU服务器检查   

健康检查项清单如下：

2、业务上线后的运行监控

在业务上线后至少一周内，组织人力每日对服务器运行状态做例行监控，除硬件的健康检查外，同时可通过自研工具对操作系统运行参数进行检查，发生问题及时处理，保证系统健康运行。

五、安全防护测试（配合客户实施）

1、设置访问控制

对智算中心的服务器和存储设备进行访问控制，只允许授权的用户和设备进行访问。使用防火墙、访问控制列表等技术来实现访问控制。

2、安装杀毒软件

在智算中心的服务器上安装杀毒软件，定期对服务器进行病毒扫描和查杀。使用商业杀毒软件或开源杀毒软件来进行病毒防护。

3、定期备份数据

对智算中心的重要数据进行定期备份，以防止数据丢失。使用磁带库、磁盘阵列等存储设备来进行数据备份。

六、性能优化测试

1、优化服务器参数

根据大模型的训练需求，对服务器的参数进行优化，如 CPU 调度、内存管理、磁盘 I/O 等。通过修改操作系统的配置文件或使用性能优化工具来进行优化。

七、接入大模型平台适配测试（配合客户实施）

1、安装大模型平台

根据大模型平台的安装说明，已将大模型平台安装到智算中心的服务器上。在安装过程中，设置了大模型平台的参数，如计算资源、存储资源等。

2、配置大模型平台

对大模型平台进行配置，确保其能够与算力设备进行有效的适配。配置了大模型平台的计算资源、存储资源、网络资源等参数，以满足大模型训练的需求。

3、测试大模型平台

使用大模型平台提供的测试工具，对大模型平台进行测试，以确保其能够正常工作。如果大模型平台存在问题，可以及时进行调试和修复。