Dell R730XD 服务器上通过 PCIe 扩展卡插入 NVIDIA RTX 3090 显卡后导致网卡失效

在 Dell R730XD 服务器上通过 PCIe 扩展卡插入 NVIDIA RTX 3090 显卡后导致网卡失效，而拔掉显卡后网卡恢复正常，可能的原因如下： 

 1. PCIe 资源分配冲突 

 服务器的 PCIe 资源（包括总线编号、中断 IRQ、内存地址空间等）是有限的，插入 RTX 3090 后，可能会导致某些设备的资源被占用或重映，从而使网卡失效。 

 解决方案： 

 进入 BIOS，查看 PCIe Slot Configuration 选项，尝试调整 PCIe 资源分配（如 SR-IOV、MMIO 资源分配等）。 

 使用 lspci -vvv 查看设备是否仍然被系统识别，但因资源冲突而不可用。 

 

 2. BIOS 或主板固件限制 

 R730XD 的 BIOS 可能对 GPU 设备有限制，或者它可能将 GPU 作为主设备（Primary Device）导致其他 PCIe 设备失效。 

 解决方案： 

 尝试更新 BIOS 和 iDRAC 固件，以支持较新的 PCIe 设备。 

 在 BIOS 里手动指定网卡的启动优先级，或者关闭 "Above 4G Decoding" 选项（如果有）。 

 

 3. PCIe 通道带宽不足 

 R730XD 的 PCIe 插槽有固定的带宽分配，RTX 3090 可能会占用大量 PCIe 通道资源，导致其他设备（如网卡）被挤出或降级。 

 解决方案： 

 尝试将 RTX 3090 插入不同的 PCIe 插槽，避免影响网卡所使用的通道。 

 确保显卡使用的插槽支持足够的 PCIe 通道（推荐使用 x16 插槽）。 

 

 4. 功耗或供电问题 

 RTX 3090 需要高功耗（约 350W 及以上），如果电源供电不足，可能导致 PCIe 设备工作不稳定，特别是网卡可能因为供电不足而掉线。 

 解决方案： 

 检查服务器电源是否足够，推荐双电源冗余并确保 1100W 或以上功率。 

 使用 iDRAC 检查电源分配情况，查看是否有功率不足的警告。 

 

 5. 驱动或操作系统问题 

 某些情况下，操作系统可能因为新设备（RTX 3090）导致 PCIe 总线编号或设备 ID 变化，使网卡驱动加载失败。 

 解决方案： 

 进入系统后，运行 dmesg | grep -i pci 检查是否有 PCIe 相关错误日志。 

 使用 lspci -k 检查网卡是否仍然被识别但驱动未加载。 

 重新安装或更新网卡驱动。 

 

 建议排查步骤 

 检查 BIOS 资源分配： 

 进入 BIOS，检查 PCIe 设备是否正确识别，尝试调整 PCIe Slot Configuration 选项。 

 如果支持 Above 4G Decoding，尝试开启或关闭该选项。 

 检查 lspci 输出： 

 插入显卡后执行 lspci -vvv | grep -i ethernet 看网卡是否仍然可见。 

 如果不可见，可能是 PCIe 资源冲突或 BIOS 限制。 

 调整显卡插槽： 

 试着把 RTX 3090 插入不同的 PCIe 插槽，避免影响网卡所在的 PCIe 端口。 

 更新 BIOS 和固件： 

 下载最新的 BIOS 和 iDRAC 固件，看看是否有兼容性更新。 

 检查供电是否足够： 

 进入 iDRAC 或使用 ipmitool sdr list 查看功耗信息，看看是否出现功率不足的问题。 

 

 如果问题仍然存在，可以尝试在不插显卡的情况下 运行 lspci -tv 记录 PCIe 设备的拓扑结构，然后在插入显卡后 再次运行 lspci -tv 进行对比，找出网卡消失的原因。