手册下载
H3C服务器 NVMe硬盘在线更换操作指导-6W108-整本手册.pdf (7.57 MB)
H3C服务器
NVMe硬盘在线更换操作指导
资料版本:6W108-20240705
Copyright © 2021-2024 新华三技术有限公司 版权所有,保留一切权利。
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。
除新华三技术有限公司的商标外,本手册中出现的其它公司的商标、产品标识及商品名称,由各自权利人拥有。
本文档中的信息可能变动,恕不另行通知。
3 热插拔方式更换NVMe硬盘(适用于Intel平台服务器)
3.2.2 Linux操作系统(VMD状态为Auto/Enabled)
3.2.3 Linux操作系统(VMD状态为Disabled)
4 热插拔方式更换NVMe硬盘(适用于AMD/Hygon/FT平台服务器)
5.2.1 Windows操作系统(VMD状态为Auto/Enabled)
5.2.2 Windows操作系统(VMD状态为Disabled)
5.2.3 Linux操作系统(VMD状态为Auto/Enabled)
5.2.4 Linux操作系统(VMD状态为Disabled)
5.3.1 Windows操作系统(VMD状态为Auto/Enabled)
服务器支持的NVMe硬盘包括NVMe U.2 SSD、NVMe M.2 SSD以及PCIe加速卡三类,本文介绍NVMe U.2 SSD(以下简称NVMe硬盘)的在线更换方法,其余两类硬盘不支持在线更换。
NVMe硬盘支持如下两种在线更换方式。
· 方式一:热插拔方式对NVMe硬盘进行在线更换。
操作系统正常运行的情况下,用户直接拔出旧硬盘,插入新硬盘。
· 方式二:预知性热插拔方式对NVMe硬盘进行在线更换。
操作系统正常运行的情况下,用户需执行如下操作:
a. 在操作系统下对硬盘执行拔出命令,确保系统内部完成热拔出流程。
b. 拔出旧硬盘。
c. 插入新硬盘。
服务器支持的NVMe硬盘在线更换方式,请通过OS兼容性查询工具查询,具体请参见2.3 选择在线更换方式。
NVMe硬盘在线更换的操作场景如下:
· NVMe硬盘故障。
· 更换空间已满的NVMe硬盘。
· 更换其他型号的NVMe硬盘。
NVMe硬盘故障现象可通过以下方法判断:
· NVMe硬盘Fault/UID橙色指示灯常亮。
· HDM Web界面显示NVMe硬盘状态异常。
· HDM日志上报NVMe硬盘故障。
· 操作系统日志上报NVMe硬盘故障。
· 参见《H3C服务器故障处理手册》中NVMe硬盘的故障案例和现象。
本手册适用于以下产品:
· Intel平台服务器
¡ 机架服务器
- H3C UniServer R4300 G6
- H3C UniServer R4500 G6
- H3C UniServer R4700 G6
- H3C UniServer R4700LE G6
- H3C UniServer R4900 G6
- H3C UniServer R4900 G6 Ultra
- H3C UniServer R4900LE G6 Ultra
- H3C UniServer R6700 G6
- H3C UniServer R6900 G6
- H3C UniServer R5300 G6
- H3C UniServer R5500 G6 Intel
- H3C UniServer R4300 G5
- H3C UniServer R4700 G5
- H3C UniServer R4700LC G5
- H3C UniServer R4900 G5
- H3C UniServer R4900LC G5
- H3C UniServer R5300 G5
- H3C UniServer R5500 G5 Intel
- H3C UniServer R6900 G5
- H3C UniServer R2700 G3
- H3C UniServer R2900 G3
- H3C UniServer R4300 G3
- H3C UniServer R4700 G3
- H3C UniServer R4900 G3
- H3C UniServer R5300 G3
- H3C UniServer R6700 G3
- H3C UniServer R6900 G3
- H3C UniServer R8900 G3
¡ 刀片服务器
- H3C UniServer B5700 G6
- H3C UniServer B5700 G5
- H3C UniServer B5700 G3
- H3C UniServer B5800 G3
- H3C UniServer B7800 G3
· AMD平台服务器
¡ H3C UniServer R5300 G6
¡ H3C UniServer R5500 G6 AMD
¡ H3C UniServer R4950 G6
¡ H3C UniServer R3950 G6
¡ H3C UniServer R4950 G5
¡ H3C UniServer R5500 G5 AMD
· Hygon平台服务器
¡ H3C UniServer R5500 G5 H3
¡ H3C UniServer R4330 G5
¡ H3C UniServer R4930 G5
¡ H3C UniServer R4930 G5 H3
· FT平台服务器
¡ H3C UniServer R4970 G7
介绍NVMe硬盘在线更换对服务器的配置要求,以及如何查询NVMe硬盘支持的在线更换方式。
· 对于待拔出的NVMe硬盘,请停止其业务并做好数据备份,以防数据丢失。
· 对于待安装的NVMe硬盘,请通过服务器兼容的部件查询工具,查询服务器支持的NVMe硬盘型号,确保服务器兼容该硬盘。
· 服务器支持的NVMe硬盘安装位置,请参见产品用户指南。
可通过BIOS设置VMD功能,VMD功能包括三种状态:Auto、Enabled、Disabled。关于VMD功能的设置内容请参见6.1 关于VMD功能。
· 针对Intel平台服务器:如下型号服务器,支持VMD状态为Enabled、Disabled时的NVMe硬盘在线更换操作;其余型号服务器,仅支持VMD状态为Auto或Enabled时的NVMe硬盘在线更换操作。
¡ H3C UniServer R4300 G6
¡ H3C UniServer R4500 G6
¡ H3C UniServer R4700 G6
¡ H3C UniServer R4700LE G6
¡ H3C UniServer R4900 G6
¡ H3C UniServer R4900 G6 Ultra
¡ H3C UniServer R4900LE G6 Ultra
¡ H3C UniServer R6700 G6
¡ H3C UniServer R6900 G6
¡ H3C UniServer R4300 G5
¡ H3C UniServer R4700 G5
¡ H3C UniServer R4900 G5
¡ H3C UniServer R6900 G5
· 针对AMD/Hygon/FT平台服务器:不涉及VMD功能,故无相关要求。
在legacy模式下,无论将VMD功能设置为何种状态(Auto/Enabled/Disabled),其实际状态均为Disabled,请依照该实际状态,并结合OS兼容性查询工具判断产品是否支持NVMe硬盘在线更换操作。
· 机架服务器(VMD状态为Auto/Enabled)
¡ G6系列
- BIOS:BIOS-6.00.20版本及以上
- HDM:HDM2-1.18版本及以上
¡ G5系列
- BIOS:BIOS-5.06版本及以上
- HDM:HDM-2.13版本及以上
¡ G3系列
- BIOS:BIOS-2.00.39版本及以上
- HDM:HDM-1.30.18版本及以上
· 机架服务器(VMD状态为Disabled)
¡ G6系列
- BIOS:BIOS-6.00.20版本及以上
- HDM:HDM2-1.18版本及以上
¡ G5系列
- BIOS:BIOS-5.32版本及以上
- HDM:HDM-2.70版本及以上
¡ G5系列
- BIOS:BIOS-5.39版本及以上
- HDM:HDM-2.85版本及以上
· 刀片服务器
¡ G5系列
- BIOS:BIOS-5.23版本及以上
- HDM:HDM-2.35版本及以上
¡ G3系列
- BIOS:BIOS-2.00.32版本及以上
- HDM:HDM-1.12.06版本及以上
· AMD Genoa
¡ BIOS:BIOS-6.30.04版本及以上
¡ HDM:HDM2-1.12版本及以上
¡ CPLD:V003版本及以上
· AMD Milan
¡ BIOS:BIOS-5.13版本及以上
¡ HDM:HDM-2.80版本及以上
· AMD Rome
¡ BIOS:BIOS-5.27版本及以上
¡ HDM:HDM-2.80版本及以上
对于Hygon/FT平台的服务器,无BIOS和HDM软件版本要求。
若待拔出的NVMe硬盘属于RAID成员盘,则同一时间移除的硬盘数量,请勿超过表2-1中的“最多故障硬盘数量”。
表2-1 RAID级别与最多故障硬盘数量
RAID级别 |
硬盘数量 |
最多故障硬盘数量 |
RAID 0 |
≥2 |
0 |
RAID 1 |
2 |
1 |
RAID 5 |
≥3 |
1 |
RAID 10 |
4 |
2* |
2*:故障的2块硬盘应属于不同冗余阵列的RAID 1。 |
通过OS兼容性查询工具,选择“NVMe硬盘OS兼容性”页签,可以查询基于服务器当前配置(CPU平台、VMD状态、操作系统),NVMe硬盘支持的在线更换方式,如图2-1所示。
查询结果包括:
· 仅支持预知性热插拔。
· 仅支持热插拔。
· 两种方式均支持。此时,选择任一方式即可。
· 两种方式均不支持。此时,请联系技术支持。
图3-1 热插拔方式更换NVMe硬盘流程图
Windows操作系统仅支持VMD状态为Auto/Enabled时的热拔操作,不支持VMD状态为Disabled时的热拔操作。
请确保Intel® VROC驱动版本等于或高于BIOS中的VROC PreOS版本。若Intel® VROC驱动版本低于VROC PreOS版本,请通过H3C官网获取最新的Intel® VROC驱动版本并升级。
两个版本可在Windows操作系统下查询,查询方法如下。
(1) 获取并打开工具Intel®Virtual RAID on CPU,单击菜单栏中的图标,如图3-2所示。
· 用户可通过如下两种方式获取工具Intel®Virtual RAID on CPU:
¡ 通过H3C官网进行下载。
¡ 使用Intel授权账号登录Intel官方网站进行下载。
· 该工具操作指导书包含在工具包中,用户可以通过操作指导书了解如何安装和使用该工具。
(2) 如图3-3中①所示,在弹出的新窗口中,单击菜单栏中的[System Report]选项。
a. 如图3-3中②所示,查看VROC PreOS版本信息。
b. 如图3-3中③所示,查看Intel® VROC驱动版本信息。
(1) 停止待拔出的NVMe硬盘业务。
(2) 备份待拔出的NVMe硬盘数据。
(3) 打开工具Intel®Virtual RAID on CPU,查看服务器上的NVMe硬盘,如图3-4所示。
(4) 确定待拔出NVMe硬盘的规格信息,如图3-5中①和②所示。
本文以“Controller 0,Port1”上的硬盘为例进行操作。
图3-5 确定待拔出NVMe硬盘在服务器中的位置
(5) (可选)如果待拔出的NVMe硬盘为RAID成员盘且已配置热备功能,当待拔出的NVMe硬盘故障时,请先判断RAID重建是否完成。
· 如果RAID正在重建中,如图3-6所示,请等待RAID重建完成。
重建RAID过程中禁止对待拔出的NVMe硬盘执行任何操作,否则可能造成数据丢失的风险。
图3-6 RAID正在重建
· 如果RAID重建完成,如图3-7所示,此时,热备盘已经成为成员盘,请执行步骤(6)。
图3-7 RAID重建完成
(6) 通过为待拔出的NVMe硬盘点灯确认硬盘在服务器上的物理位置。如图3-8所示,单击“Activate LED”,为NVMe硬盘点灯,此时硬盘Fault/UID指示灯变为蓝灯常亮10s,Present/Active指示灯变为绿灯常亮。
硬盘Fault/UID指示灯蓝灯常亮10s后,会自动熄灭。
图3-8 为待拔出的NVMe硬盘点灯
(7) 拆卸NVMe硬盘。
· 本文以一款服务器为例,介绍NVMe硬盘的拆卸方法。
· 请勿频繁插拔硬盘。如果硬盘被频繁插拔,且插拔时间间隔小于30秒,被插拔槽位的硬盘存在无法被识别的风险。
· 不支持多块硬盘同时拔出,否则有可能导致系统异常。请按顺序拆卸NVMe硬盘,完全拆卸完1块NVMe硬盘后再拆卸其他硬盘。
a. 如图3-9中①所示,按下硬盘面板按钮,硬盘扳手会自动打开。
b. 如图3-9中②所示,从硬盘槽位中拔出硬盘。
c. 拆卸硬盘支架。如图3-10所示,移除硬盘支架上的所有固定螺钉,并将硬盘从硬盘支架上移除。
d. 将拆卸下来的硬盘放入防静电包装袋中。
禁止将两个及以上的部件放入同一个防静电包装袋。
(1) 确定待拔出NVMe硬盘的盘符。如图3-11所示,打开操作系统命令终端,执行命令lsblk |grep nvme,查看服务器上的NVMe硬盘的盘符。
本文以盘符为nvme2n1的NVMe硬盘为例进行操作。
图3-11 查看NVMe硬盘的盘符
(2) 停止待拔出的NVMe硬盘业务。
(3) 备份待拔出的NVMe硬盘数据。
(4) 请根据待拔出的NVMe硬盘实际情况进行以下操作:
· 如果待拔出的NVMe硬盘为直通盘,请先查看待拔出NVMe硬盘的挂载情况。若NVMe硬盘已挂载,请务必先将其解除挂载。
a. 执行命令df -h,查看待拔出的NVMe硬盘挂载情况。如图3-12红框所示,硬盘nvme2n1当前为已挂载状态。
图3-12 查看待拔出的NVMe硬盘的挂载情况
b. 执行命令umount /dev/nvme2n1,将硬盘解除挂载。如图3-13所示,将NVMe硬盘nvme2n1解除挂载。
c. 执行命令df -h,确认待拔出的NVMe硬盘nvme2n1已解除挂载,如图3-14所示。
图3-14 确认NVMe硬盘nvme2n1已解除挂载
d. 请执行步骤(5)。
· 如果待拔出的NVMe硬盘为RAID成员盘且已配置热备功能,当待拔出的NVMe硬盘故障时,请确认NVMe逻辑盘的挂载情况及RAID重建状态。
本文以盘符为md0p1的NVMe逻辑盘为例进行操作。
a. 执行命令df -h,确认待拔出NVMe逻辑盘的挂载情况,如图3-15所示,此时NVMe逻辑盘md0p1已挂载。
图3-15 查看待拔出的NVMe硬盘的挂载情况
b. 执行命令umount /dev/md0p1将其解除挂载,如图3-16所示。
c. 执行命令df -h,确认NVMe逻辑盘md0p1已解除挂载,如图3-17所示。
图3-17 确认NVMe逻辑盘md0p1已解除挂载
d. 执行命令cat /proc/mdstat,判断RAID重建是否完成。
¡ 如果RAID正在重建中,如图3-18所示,请等待RAID重建完成。
重建RAID过程中禁止对待拔出的NVMe硬盘执行任何操作,否则可能造成数据丢失的风险。
图3-18 RAID正在重建
图3-19 RAID重建完成
e. 由图3-19可知硬盘所在的容器的设备号,为/dev/md127。执行命令mdadm -r /dev/md127 /dev/nvme2n1,将硬盘nvme2n1从容器中移出,如图3-20所示。
f. 执行命令cat /proc/mdstat,确认硬盘nvme2n1是否移出成功。如图3-21所示,硬盘nvme2n1不再显示,即已经从容器中移出。
g. 请执行步骤(5)。
· 如果待拔出的NVMe硬盘为RAID成员盘且未配置热备盘,当待拔出的NVMe硬盘故障时。
a. 确认待拔出NVMe逻辑盘的挂载情况,若已挂载请解除。具体步骤请参见a。
b. 进行步骤(5)。
(5) 确定待拔出NVMe硬盘在服务器中的位置。
a. 确定操作系统下盘符对应的BUS number。执行命令find /sys/devices -iname nvme2n1,如图3-22所示,确认硬盘nvme2n1对应的BUS number为10000:04:00.0。
b. 确定硬盘BUS number对应的PCIe槽位号。执行命令lspci -vvs 10000:04:00.0,如图3-23所示,确认硬盘nvme2n1对应的PCIe槽位号为109。
图3-23 确定硬盘BUS number对应的PCIe槽位号
c. 根据获取到的PCIe槽位号,确定硬盘PCIe槽位号对应的物理槽位号。登录HDM Web,如图3-24中①所示,选择[存储管理/物理视图],确认硬盘PCIe槽位号Slot 109对应的物理槽位号为Front slot 9。
图3-24 确定硬盘PCIe槽位号对应的物理槽位号
不同版本的HDM Web选项可能会有所不同,但是查看NVMe硬盘信息的方法类似,具体请以软件实际界面为准。
d. 根据HDM Web获取到的物理槽位号Front slot 9,查询服务器用户指南附录《硬盘槽位号对应关系表》,对应的前部硬盘槽位号丝印为9,如图3-25和图3-26所示。
G3系列服务器的《硬盘槽位号对应关系表》,请联系技术支持获取。
e. 在HDM Web界面中,开启[定位灯状态]选项,如图3-24中②所示。此时该NVMe硬盘的Fault/UID指示灯蓝色常亮,定位硬盘实际槽位。
(6) 拆卸NVMe硬盘,详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
G5系列服务器在进行操作前,请确保BIOS下已开启[OS-Aware & Surprise Hotplug]功能,若未开启此功能,请在操作前自行开启。具体操作方法如下:
(1) 进入BIOS Setup界面,选择Advanced > Socket Configuration,如图3-27所示。
图3-27 BIOS下选择Advanced > Socket Configuration
不同版本BIOS下的选项可能会有所不同,但操作方法类似,具体请以实际界面为准。
(2) 进入IIO Configuration选项卡,如图3-28所示。
(3) 在Enhanced NVMe Hotplug Support选项中选择[OS-Aware & Surprise Hotplug]选项,如图3-29所示。
图3-29 选择[OS-Aware & Surprise Hotplug]选项
(1) 确定待拔出NVMe硬盘的盘符。如图3-30所示,打开操作系统命令终端,执行命令lsblk |grep nvme,查看服务器上的NVMe硬盘的盘符。
本文以盘符为nvme2n1的NVMe硬盘为例进行操作。
图3-30 查看NVMe硬盘的盘符
(2) 停止待拔出的NVMe硬盘业务。
(3) 备份待拔出的NVMe硬盘数据。
(4) VMD功能为Disabled状态下,NVMe硬盘均为直通盘,请先查看待拔出NVMe硬盘的挂载情况。若NVMe硬盘已挂载,请务必先将其解除挂载。
a. 执行命令df -h,查看待拔出的NVMe硬盘挂载情况。如图3-31红框所示,硬盘nvme2n1当前为已挂载状态。
图3-31 查看待拔出的NVMe硬盘的挂载情况
b. 执行命令umount /dev/nvme2n1,将硬盘解除挂载。如图3-32所示,将NVMe硬盘nvme2n1解除挂载。
c. 执行命令df -h,确认待拔出的NVMe硬盘nvme2n1已解除挂载,如图3-33所示。
图3-33 确认NVMe硬盘nvme2n1已解除挂载
(5) 确定待拔出NVMe硬盘在服务器中的位置。
a. 确定操作系统下盘符对应的BUS number。执行命令find /sys/devices -iname nvme2n1,如图3-34所示,确认硬盘nvme2n1对应的BUS number为0000:67:00.0。
b. 确定硬盘BUS number对应的PCIe槽位号。执行命令lspci -vvs 0000:67:00.0,如图3-35所示,确认硬盘nvme2n1对应的PCIe槽位号为106。
图3-35 确定硬盘BUS number对应的PCIe槽位号
c. 确定硬盘PCIe槽位号对应的物理槽位号。登录HDM Web,如图3-36所示,选择[存储管理/物理视图],确认硬盘PCIe槽位号Slot 106对应的物理槽位号为Front slot 6。
图3-36 确定硬盘PCIe槽位号对应的物理槽位号
d. 根据HDM Web获取到的物理槽位号Front slot 6,查询服务器用户指南附录《硬盘槽位号对应关系表》,对应的前部硬盘槽位号丝印为6,如图3-37和图3-38所示。
(6) 拆卸NVMe硬盘,详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
VMware操作系统仅支持VMD状态为Auto/Enabled时的热拔操作,不支持VMD状态为Disabled时的热拔操作。
(1) 确定待拔出NVMe硬盘的设备名称。如图3-39所示,在VMWare系统的管理界面,单击“设备”页签,查看NVMe硬盘的设备名称。
本文以设备名称为“t10.NVMe__INTEL_SSDPE2KE016T8_______BTLN813609NS1P6AGN_00000001”的NVMe硬盘为例进行操作。
图3-39 查看NVMe硬盘的设备名称
(2) 停止待拔出的NVMe硬盘业务。
(3) 备份待拔出的NVMe硬盘数据。
(4) 查看待拔出的硬盘是否已挂载。如图3-40所示,单击待拔出的硬盘的设备名称,查看是否挂载。
· 如有分区,代表硬盘已挂载,请先卸载,即执行步骤(5)。
· 如无分区,代表硬盘未挂载,请给硬盘点灯,即执行步骤(6)。
图3-40 查看NVMe硬盘是否挂载
(5) (可选)卸载NVMe硬盘。
a. 如图3-41所示,在VMWare系统的管理界面,单击“数据存储”页签,查看已挂载的NVMe硬盘。
b. 如图3-42所示,单击硬盘的名称,确认硬盘的设备名称是否为待拔出的NVMe硬盘的设备名称。
图3-42 确认待拔出的NVMe硬盘设备名称
c. 如图3-43和图3-44所示,单击[操作/卸载],卸载并确认待拔出的NVMe硬盘。
d. 如图3-45所示,单击“数据存储”,已卸载的硬盘容量为0代表卸载成功。
(6) 在操作系统下,通过为待拔出的NVMe硬盘点灯以确认硬盘在服务器上的物理位置。
请登录H3C官网获取并安装该服务器适配的最新版本VROC驱动,其中包含了NVMe硬盘点灯工具。不同的驱动版本,该工具对应名称也不同,具体如下,本文以intel-vmd-user工具为例。
· 驱动版本小于等于2.0,工具名称为intel-vmd-user
· 驱动版本大于2.0,工具名称为intel-vmdr-user
a. 执行命令esxcfg-mpath -L,查看NVMe硬盘的设备名称和SCSI ID的对应关系,可以看到设备名称为“t10.NVMe__INTEL_SSDPE2KE016T8_______BTLN813609NS1P6AGN_00000001”的硬盘对应的VMD适配器为“vmhba2”;硬盘编号为“T1”。
图3-46 查看NVMe硬盘的设备名称和SCSI ID的对应关系
b. 执行命令cd /opt/intel/bin/,进入工具所在目录。
图3-47 进入工具所在目录
c. 执行命令./intel-vmd-user set-led vmhba2 -d 1 -l identify,为设备名称为“t10.NVMe__INTEL_SSDPE2KE016T8_______BTLN813609NS1P6AGN_00000001”的NVMe硬盘点灯。“T1”编号的NVMe硬盘,在点灯命令中对象参数值为“1”。
图3-48 为待拔出的NVMe硬盘点灯
d. 观察NVMe硬盘指示灯。如果硬盘Fault/UID指示灯变为蓝灯常亮,Present/Active指示灯变为绿灯常亮,即可拔出硬盘。
(7) 拆卸NVMe硬盘,详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
(1) 安装NVMe硬盘。
· 不同服务器NVMe硬盘的安装方法类似,本文以一款服务器为例,介绍NVMe硬盘的安装方法。
· 不支持多块硬盘同时安装,否则有可能导致系统异常。请按顺序安装NVMe硬盘,完全安装完1块NVMe硬盘,且NVMe硬盘信息完全被操作系统识别后再安装其他硬盘。
· 安装时,请匀速插入NVMe硬盘,过程中请勿停顿,否则容易导致操作系统卡死或重启。
· 请勿频繁插拔硬盘。如果硬盘被频繁插拔,且插拔时间间隔小于30秒,被插拔槽位的硬盘存在无法识别的风险。
a. 安装硬盘到硬盘支架。如图3-49所示,先将四颗固定螺钉固定到四个螺孔中,然后依次拧紧螺钉。
b. 如图3-50所示,按下硬盘面板按钮,硬盘扳手会自动打开。
c. 如图3-51中①所示,将硬盘推入槽位,直到推不动为止。
d. 如图3-51中②所示,合上硬盘扳手,直到听见咔哒一声。
(2) 观察硬盘指示灯的最终状态,Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭,表示NVMe硬盘在位且无故障。
(3) 在操作系统中查看新安装的NVMe硬盘工作状态,以确保NVMe硬盘安装成功。进入操作系统后,通过Intel®Virtual RAID on CPU工具查看NVMe硬盘列表的数量是否新增、新硬盘信息与实际信息是否相符。
图3-52 NVMe硬盘安装成功(Windows操作系统)
VMD功能为Auto/Enabled或Disabled状态下,对NVMe硬盘的热插操作方法类似,本文以VMD状态为Auto/Enabled举例。
(1) 安装NVMe硬盘,详细操作方法请参见3.3.1 Windows操作系统中的步骤(1)。
(2) 观察硬盘指示灯的最终状态,Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭,表示NVMe硬盘在位且无故障。
(3) 在操作系统命令终端,执行命令lspci -vvs,确认新安装的NVMe硬盘已被系统识别。如图3-53所示,执行命令lspci -vvs 10000:04:00.0,查看到已有BUS number为10000:04:00.0的硬盘信息,即槽位上的硬盘已被系统识别。BUS number的获取方法请参见3.2.2 (5) 确定待拔出NVMe硬盘在服务器中的位置中的步骤a。
图3-53 操作系统下通过lspci命令确认NVMe硬盘已被系统识别
(4) 在操作系统命令终端查看新安装的NVMe硬盘盘符信息。如图3-54所示,执行命令lsblk,查看到已有盘符为nvme2n1的硬盘,证明新硬盘已成功安装。
图3-54 操作系统下通过lsblk命令确认新安装硬盘安装成功
(1) 安装NVMe硬盘,详细操作方法请参见3.3.1 Windows操作系统中的步骤(1)。
(2) 观察硬盘指示灯的最终状态,Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭,表示NVMe硬盘在位且无故障。
(3) 在操作系统中中查看新安装的NVMe硬盘工作状态,以确保NVMe硬盘安装成功。进入操作系统后,如图3-55所示,执行命令esxcfg-mpath -L,查看到已有设备名称为“t10.NVMe__INTEL_SSDPE2KE016T8_______BTLN813609NS1P6AGN_00000001”的硬盘,即硬盘已经安装成功。
图3-55 操作系统下通过esxcfg-mpath -L命令确认NVMe硬盘安装成功
图4-1 热插拔方式更换NVMe硬盘流程图
(1) 停止待拔出的NVMe硬盘业务。
(2) 备份待拔出的NVMe硬盘数据。
(3) 在操作系统下打开服务器设备管理器“Device Manager”,在[Storage controllers]栏目下查看服务器上的硬盘,确定待拔出NVMe硬盘槽位信息。下方示例中获取到该NVMe硬盘的槽位信息为PCIe Slot 55,即PCIe槽位号为slot 55,如图4-2中红框所示。
图4-2 查看待拔出NVMe硬盘槽位信息
(4) 根据获取到的PCIe槽位号,确定硬盘PCIe槽位号对应的物理槽位号。登录HDM Web,如图4-3中①所示,选择[存储管理/物理视图],确认硬盘PCIe槽位号Slot 55对应的物理槽位号为Rear slot 5。
图4-3 HDM Web下确认待拔出的NVMe硬盘的物理槽位
不同版本的HDM Web选项可能会有所不同,但是查看NVMe硬盘信息的方法类似,具体请以软件实际界面为准。
(5) 根据HDM Web获取到的物理槽位号Rear slot 5,查询服务器用户指南附录《硬盘槽位号对应关系表》,对应的后部硬盘槽位号丝印为55,如图4-4和图4-5所示。
(6) 在HDM Web界面中,开启[定位灯状态]选项,如图4-3中②所示。此时该NVMe硬盘的Fault/UID指示灯蓝色常亮,定位硬盘实际槽位。
(7) 拆卸NVMe硬盘。
· 本文以一款服务器为例,介绍NVMe硬盘的拆卸方法。
· 请勿频繁插拔硬盘。如果硬盘被频繁插拔,且插拔时间间隔小于30秒,被插拔槽位的硬盘存在无法被识别的风险。
· 不支持多块硬盘同时拔出,否则有可能导致系统异常。请按顺序拆卸NVMe硬盘,完全拆卸完1块NVMe硬盘后再拆卸其他硬盘。
a. 如图4-6中①所示,按下硬盘面板按钮,硬盘扳手会自动打开。
b. 如图4-6中②所示,从硬盘槽位中拔出硬盘。
c. 拆卸硬盘支架。如图4-7所示,移除硬盘支架上的所有固定螺钉,并将硬盘从硬盘支架上移除。
d. 将拆卸下来的硬盘放入防静电包装袋中。
禁止将两个及以上的部件放入同一个防静电包装袋。
(1) 确定待拔出NVMe硬盘的盘符。如图4-8所示,打开操作系统命令终端,执行命令lsblk |grep nvme,查看服务器上的NVMe硬盘的盘符。
本文以盘符为nvme2n1的硬盘为例进行操作。
图4-8 查看NVMe硬盘的盘符
(2) 停止待拔出的NVMe硬盘业务。
(3) 备份待拔出的NVMe硬盘数据。
(4) 执行命令df -h,查看待拔出的NVMe硬盘挂载情况。如图4-9红框所示,硬盘nvme2n1当前为已挂载状态。
图4-9 查看待拔出的NVMe硬盘的挂载情况
(5) 执行命令umount /dev/nvme2n1,将硬盘解除挂载。如图4-10所示,将NVMe硬盘nvme2n1解除挂载。
(6) 执行命令df -h,确认待拔出的NVMe硬盘nvme2n1已解除挂载,如图4-11所示。
图4-11 确认NVMe硬盘nvme2n1已解除挂载
(7) 确定待拔出NVMe硬盘在服务器中的位置。
a. 确定操作系统下盘符对应的BUS number。执行命令find /sys/devices -iname nvme2n1,如图4-12所示,确认硬盘nvme2n1对应的BUS number为10000:04:00.0。
b. 确定硬盘BUS number对应的PCIe槽位号。执行命令lspci -vvs 10000:04:00.0,如图4-13所示,确认硬盘nvme2n1对应的PCIe槽位号为109。
图4-13 确定硬盘BUS number对应的PCIe槽位号
c. 确定硬盘PCIe槽位号对应的物理槽位号。登录HDM Web,如图4-14所示,选择[存储管理/物理视图],确认硬盘PCIe槽位号Slot 109对应的物理槽位号为Front slot 9。
图4-14 确定硬盘PCIe槽位号对应的物理槽位号
d. 根据HDM Web获取到的物理槽位号Front slot 9,查询服务器用户指南附录《硬盘槽位号对应关系表》,对应的硬盘槽位号丝印为9,即定位至硬盘编号为9的槽位,如图3-25和图3-26所示。
图4-15 查询服务器硬盘槽位号对应关系表
图4-16 定位至硬盘编号为9的槽位
(8) 拆卸NVMe硬盘,详细操作方法请参见4.2.1 Windows操作系统中的步骤(7)。
(1) 安装NVMe硬盘。
· 不同服务器NVMe硬盘的安装方法类似,本文以一款服务器为例,介绍NVMe硬盘的安装方法。
· 不支持多块硬盘同时安装,否则有可能导致系统异常。请按顺序安装NVMe硬盘,完全安装完1块NVMe硬盘,且NVMe硬盘信息完全被操作系统识别后再安装其他硬盘。
· 安装时,请匀速插入NVMe硬盘,过程中请勿停顿,否则容易导致操作系统卡死或重启。
· 请勿频繁插拔硬盘。如果硬盘被频繁插拔,且插拔时间间隔小于30秒,被插拔槽位的硬盘存在无法识别的风险。
a. 安装硬盘到硬盘支架。如图4-17所示,先将四颗固定螺钉固定到四个螺孔中,然后依次拧紧螺钉。
b. 如图4-18所示,按下硬盘面板按钮,硬盘扳手会自动打开。
c. 如图4-19中①所示,将硬盘推入槽位,直到推不动为止。
d. 如图4-19中②所示,合上硬盘扳手,直到听见咔哒一声。
(2) 观察硬盘指示灯的最终状态,Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭,表示NVMe硬盘在位且无故障。
(3) 在操作系统中查看新安装的NVMe硬盘工作状态,以确保NVMe硬盘安装成功。进入操作系统后,打开服务器设备管理器“Device Manager”,在[Disk drivers]栏目下查看NVMe硬盘列表的数量是否新增、新硬盘信息与实际信息是否相符。
图4-20 NVMe硬盘安装成功(Windows操作系统)
(1) 安装NVMe硬盘,详细操作方法请参见4.3.1 Windows操作系统中的步骤(1)。
(2) 观察硬盘指示灯的最终状态,Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭,表示NVMe硬盘在位且无故障。
(3) 在操作系统命令终端,执行命令lspci -vvs,确认新安装的NVMe硬盘已被系统识别。如图4-21所示,执行命令lspci -vvs 10000:04:00.0,查看到已有BUS number为10000:04:00.0的硬盘信息,即槽位上的硬盘已被系统识别。BUS number的获取方法请参见4.2.2 Linux操作系统中的步骤(7)。
图4-21 操作系统下通过lspci命令确认NVMe硬盘已被系统识别
(4) 在操作系统命令终端查看新安装的NVMe硬盘盘符信息。如图3-54所示,执行命令lsblk,查看到已有盘符为nvme2n1的硬盘,证明新硬盘已成功安装。
图4-22 操作系统下通过lsblk命令确认新安装硬盘安装成功
图5-1 预知性热插拔方式更换NVMe硬盘流程图
(1) 停止待拔出的NVMe硬盘业务。
(2) 备份待拔出的NVMe硬盘数据。
(3) 打开工具Intel®Virtual RAID on CPU,查看服务器上的NVMe硬盘,详细操作方法请参见3.2.1 2. 操作步骤中的步骤(3)。
(4) 确定待拔出NVMe硬盘的规格信息,详细操作方法请参见3.2.1 2. 操作步骤中的步骤(4)。
(5) (可选)如果待拔出的NVMe硬盘为RAID成员盘且已配置热备功能,请先判断RAID重建是否完成,详细操作方法请参见3.2.1 2. 操作步骤中的步骤(5)。
(6) 为待拔出的NVMe硬盘点灯。如图5-2中①所示,单击“Activate LED”,为NVMe硬盘点灯,此时硬盘Fault/UID指示灯变为蓝灯常亮10s,Present/Active指示灯变为绿灯常亮。
硬盘Fault/UID指示灯蓝灯常亮10s后,会自动熄灭。
(7) 卸载硬盘。如图5-2中②所示,单击“Remove Disk”,卸载硬盘。
图5-2 卸载NVMe硬盘
(8) 观察NVMe硬盘指示灯。如果硬盘Fault/UID指示灯变为蓝灯常亮,Present/Active指示灯为绿灯常亮,并且待拔出的NVMe硬盘已从工具Intel®Virtual RAID on CPU的设备管理列表中消失,即可拔出NVMe硬盘。
(9) 拆卸NVMe硬盘,详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
本文以Microsoft Windows Server 2019操作系统、PCIe槽位号为106的NVMe硬盘为例进行操作。
(1) 停止待拔出的NVMe硬盘业务。
(2) 备份待拔出的NVMe硬盘数据。
(3) 在操作系统下,单击菜单栏中的图标,选择[Open Device and Printers]选项,查看服务器上的所有NVMe硬盘设备,如图5-3和图5-4所示。
图5-3 选择[Open Device and Printers]选项
(4) 打开硬盘的[Properties/Hardware]选项卡,确定待拔出的NVMe硬盘槽位信息。如图5-5中红框所示,获取该NVMe硬盘的槽位信息为PCIe Slot 106,即PCIe槽位号为slot 106。
图5-5 确定待拔出的NVMe硬盘槽位信息
(5) 根据获取到的PCIe槽位号,确定硬盘PCIe槽位号对应的物理槽位号。登录HDM Web,如图5-6中①所示,选择[存储管理/物理视图],确认硬盘PCIe槽位号Slot 106对应的物理槽位号为Front slot 6。
图5-6 确定硬盘PCIe槽位号对应的物理槽位号
不同版本的HDM Web选项可能会有所不同,但是查看NVMe硬盘信息的方法类似,具体请以软件实际界面为准。
(6) 根据HDM Web获取到的物理槽位号Front slot 6,查询服务器用户指南附录《硬盘槽位号对应关系表》,对应的硬盘槽位号丝印为6,如图5-7和图5-8所示。
(7) 右键点击待拔出的NVMe硬盘,选择[Remove device]选项,移除待拔出的NVMe硬盘,如图5-9所示,此时该NVMe硬盘的Fault/UID指示灯橙灯闪烁,Present/Active指示灯熄灭。
(8) 拆卸NVMe硬盘,详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
本文以盘符为nvme2n1的硬盘为例进行操作。
(1) 确定待拔出NVMe硬盘的盘符,详细操作方法请参见3.2.2 Linux操作系统(VMD状态为Auto/Enabled)中的步骤(1)。
(2) 停止待拔出的NVMe硬盘的业务。
(3) 请根据待拔出的NVMe硬盘实际情况进行以下操作:
· 如果待拔出的NVMe硬盘为直通盘,请先查看待拔出NVMe硬盘的挂载情况。若NVMe硬盘已挂载,请务必先将其解除挂载。详细操作方法请参见3.2.2 Linux操作系统(VMD状态为Auto/Enabled)中的步骤(4)。
· 如果待拔出的NVMe硬盘为RAID成员盘且已配置热备功能,请先判断RAID重建是否完成,详细操作方法请参见3.2.2 Linux操作系统(VMD状态为Auto/Enabled)中的步骤(4)。
· 如果待拔出的NVMe硬盘为RAID成员盘且未配置热备盘,请务必先将其解除挂载。详细操作方法请参见3.2.2 Linux操作系统(VMD状态为Auto/Enabled)中的步骤(4)。
(4) (可选)在定位至待拔出的NVMe硬盘之前,部分Linux操作系统需先开启ledmon.service服务。
· 对于RHEL7.6、RHEL8.0、SUSE15、SUSE15SP1、SUSE12SP4操作系统,需要先手动创建ledmon.service服务,具体步骤如下:
a. 在/usr/lib/systemd/system目录下创建文件。执行命令vim /usr/lib/systemd/system/ledmon.service,创建文件,如图5-10所示。
b. 在ledmon.service文件中配置文件,如图5-11所示。
图5-11 在ledmon.service文件中配置文件
c. 在操作系统下开启ledmon.service服务,如图5-12所示。
图5-12 在操作系统下开启ledmon.service服务
RHEL8.2操作系统默认未开启ledmon.service服务,需手动开启该服务,操作步骤如c所示。
· 对于Ubuntu Server 20.04、Ubuntu Server 20.04.1、Ubuntu Server 20.04.2操作系统,需要先在操作系统下安装ledmon驱动,再开启ledmon.service服务,具体步骤如下:
a. 安装工具包。执行命令#apt install pkg-config automake autoconf gcc make,安装工具包pkg-config、automake、autoconf、gcc、make,如图5-13所示。
图5-13 安装工具包pkg-config、automake、autoconf、gcc、make
b. 安装依赖包。执行以下命令,分别安装依赖包libsgutils2-dev、libudev-dev、libpci-dev。由于安装步骤类似,本文以libsgutils2-dev为例,如图5-14所示。
- #apt install libsgutils2-dev
- #apt install libudev-dev
- #apt install libpci-dev
c. 将下载好的ledmon驱动源码包解压后放入操作系统目标路径下,本文设置ledmon-master为目标路径。执行命令#cd ledmon-master,进入目标路径,如图5-15所示。
图5-15 进入ledmon源码包目标路径
ledmon驱动源码包可从github网站进行下载:https://github.com/intel/ledmon。
d. 在目标路径下,执行命令# ./autogen.sh,安装脚本autogen.sh,如图5-16所示。
e. 在目标路径下,执行命令# ./configure - -enable-systemd,安装脚本configure - -enable-systemd,如图5-17所示。
图5-17 安装脚本configure - -enable-systemd
f. 在目标路径下,执行命令#make,编译ledmon源码包,如图5-18所示。
g. 在目标路径下,执行命令#make install,安装ledmon驱动,如图5-19所示。
h. 在操作系统下开启ledmon.service服务,如图5-20所示。
图5-20 在操作系统下开启ledmon.service服务
a. 卸载硬盘。执行命令echo 1 > /sys/block/nvme2n1/device/device/remove,卸载硬盘nvme2n1。
图5-21 卸载硬盘
b. 验证硬盘是否卸载成功。执行命令lsblk,查看硬盘nvme2n1已经不显示,即卸载成功。
图5-22 验证硬盘卸载成功
(6) 观察NVMe硬盘指示灯。如果NVMe硬盘的Fault/UID指示灯变为橙色常亮且Present/Active指示灯为绿灯常亮,即可拔出硬盘nvme2n1。
(7) 拆卸NVMe硬盘,详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
本文以盘符为nvme2n1的硬盘为例进行操作。
(1) 确定待拔出NVMe硬盘的盘符,详细操作方法请参见3.2.3 2. 操作步骤中的步骤(1)。
(2) 停止待拔出的NVMe硬盘的业务。
(3) 查看待拔出NVMe硬盘此时的挂载情况,若NVMe硬盘已挂载,请务必先将其解除挂载,详细操作方法请参见3.2.3 2. 操作步骤中的步骤(4)。
(4) 确定待拔出NVMe硬盘的PCIe槽位号及服务器中的位置,详细操作方法请参见3.2.3 2. 操作步骤中的步骤(5)。
(5) 卸载硬盘并验证是否卸载成功。
a. 卸载硬盘。执行命令echo 0 > /sys/bus/pci/slots/106/power,卸载硬盘nvme2n1。
图5-23 卸载硬盘
b. 验证硬盘是否卸载成功。执行命令lsblk,查看硬盘nvme2n1已经不显示,即卸载成功。
图5-24 验证硬盘卸载成功
(6) 观察NVMe硬盘指示灯。如果NVMe硬盘的Fault/UID指示灯变为橙色闪烁且Present/Active指示灯熄灭,即可拔出硬盘nvme2n1。
(7) 拆卸NVMe硬盘,详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
请参见3.3.1 Windows操作系统。
(1) 安装NVMe硬盘,详细操作方法请参见3.3.1 Windows操作系统中的步骤(1)。
(2) 观察硬盘指示灯的最终状态,Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭,表示NVMe硬盘在位且无故障。
(3) 在操作系统中查看新安装的NVMe硬盘工作状态。在操作系统下,单击菜单栏中的图标,选择[Open Device and Printers]选项,通过新插入的NVMe硬盘PCIe槽位号,以确保NVMe硬盘已安装成功,如图5-25所示。
图5-25 NVMe硬盘安装成功(VMD状态为Disabled)
(1) 安装NVMe硬盘,详细操作方法请参见3.3.1 Windows操作系统中的步骤(1)。
(2) 观察硬盘指示灯的最终状态,Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭,表示NVMe硬盘在位且无故障。
(3) 在操作系统中查看新安装的NVMe硬盘工作状态,以确保NVMe硬盘安装成功。在操作系统命令终端,执行命令lsblk,查看NVMe硬盘信息。如图5-26所示,执行命令lsblk,查看到已有盘符为nvme2n1的硬盘,即硬盘已经安装成功。
图5-26 操作系统下通过lsblk命令确认NVMe硬盘安装成功
Intel® VMD技术,全名Intel® Volume Management Device,中文译为英特尔®卷管理设备技术,可在BIOS下进行功能状态切换。VMD功能包括三种状态:Auto、Enabled、Disabled
· Auto:表示当POST阶段检测到此栈上有设备接入时,系统将自动启用VMD技术;
· Enabled:启用VMD技术。当选择此项时,将显示更加细致的配置选项;
· Disabled:禁用VMD技术。Advanced > Socket Configuration
不同版本BIOS下的选项可能会有所不同,但选项含义及操作方法类似,具体请以实际界面为准。
以G3产品Purlry平台的BIOS为例,用户可以在进入BIOS后选择BIOS Setup > Socket Configuration > IIO Configuration > Intel® VMD technology > Intel@ VMD for Volume Management Device on Processor X页签,对任意CPU PStack的VMD功能状态进行切换,如图6-1、图6-2所示。
图6-1 选择CPU 1的VMD配置
图6-2 切换VMD功能状态
在开启了VMD功能后,用户可以对所有的PStack下的端口进行单独设置。以CPU1的PStack0为例,在将[Intel® VMD for Volume Management]选项设置为[Enabled],即VMD功能开启后,将显示具体的菜单。在该菜单下,用户可以对PStack0下的所有端口单独进行设置,该PStack下含有4个端口:VMD port 1A、VMD port 1B、VMD port 1C、VMD port 1D,如图6-3所示。
图6-3 VMD功能开启后,CPU1 PStack0显示的菜单
VMD port对应服务器PCIe链路的不同端口,不同型号的服务器其对应情况可能存在差异,具体请联系技术支持获取。
为开启NVMe硬盘的预知性热插拔/热插拔功能,请执行下列操作步骤:
(1) 请在图6-3所示界面下,确保所有的[VMD port xx]及[Hot Plug Capable]选项已设置为[Enabled],如图6-4所示。
图6-4 将[VMD port xx]及[Hot Plug Capable]选项设置为[Enabled]
(2) 进入BIOS Setup > Socket Configuration > IIO Configuration页签,按下[Ctrl+Shift+P]组合键打开IIO Configuration页签下的隐藏菜单,确认[PCIe Hot plug]选项已设置为[Enabled],如所示。该选项缺省状态为[Enabled]。
图6-5 IIO Configuration页签下的隐藏菜单
· 如果拔出的NVMe硬盘是直通盘,新硬盘安装后,新安装的硬盘仍作为直通盘。
· 如下情况,如有需要,请重新配置RAID。RAID的配置方法请参见存储控制卡用户指南。
¡ 如果拔出的NVMe硬盘是无冗余功能的RAID成员盘,新硬盘安装后,新安装的硬盘直接作为直通盘。
¡ 如果拔出的NVMe硬盘是具有冗余功能的RAID成员盘,未配置热备盘且未开启RAID重建功能,新硬盘安装后,新安装的硬盘直接作为直通盘。
¡ 如果拔出的NVMe硬盘是具有冗余功能的RAID成员盘,且已配置热备盘,新硬盘安装后,新安装的硬盘直接作为直通盘。
如果拔出的NVMe硬盘是具有冗余功能的RAID成员盘,
· 若该RAID配置了热备盘且已开启RAID重建功能,则在拔出旧硬盘前,请等待RAID重建完成。
· 若该RAID未配置热备盘且已开启RAID重建功能,则新硬盘安装后,存储控制卡会自动进行RAID重建。
不同操作系统下,查看并确认RAID重建完成的操作方法不同。
存储控制卡是否支持的RAID重建功能,以及该功能缺省是否开启,不同型号的存储控制卡,支持情况不同,详细信息请参见存储控制卡用户指南。
安装的新硬盘容量需要大于或等于该RAID下单个成员盘的最小容量。
请通过工具Intel®Virtual RAID on CPU,查看RAID重建是否完成。
图6-6 Windows操作系统下RAID重建完成
图6-7 Windows操作系统下RAID重建中
(1) 请等待RAID重建完成再拔出旧硬盘,具体请参见3.2.2 Linux操作系统中的步骤(4)。
(2) 安装新硬盘后,观察此时硬盘指示灯为Present/Active指示灯绿灯和Fault/UID指示灯橙灯常亮,此时新硬盘将作为直通盘使用。
(3) 执行命令ledctl off=/dev/<新插入的硬盘名>,手动关闭新硬盘Fault/UID橙色指示灯,如图6-8所示。
(4) (可选)执行命令mdadm -a /dev/<容器名> /dev/<新插入的硬盘名>,将新硬盘加入原RAID所属容器中,新硬盘将作为热备盘使用。
(1) 新硬盘安装后,此时指示灯状态为:Present/Active指示灯绿灯和Fault/UID指示灯橙灯常亮。在RAID重建之前,必须手动将新硬盘加入至容器中。通过命令mdadm -a /dev/<容器名> /dev/新插入的硬盘名,将新安装硬盘加入至该容器中,存储控制卡将会自动进行RAID重建。
(2) 执行命令cat /proc/mdstat,查看RAID重建是否完成。
图6-9 Linux操作系统下RAID重建完成
图6-10 Linux操作系统下RAID重建中
(3) RAID重建完成后,观察新安装硬盘指示灯,此时应为Fault/UID指示灯橙灯熄灭,Present/Active指示灯绿灯常亮。