Broadcom P210P/P210TP
Материал из База знаний True System
- Broadcom P210P BCM957412A4120AC — 2-портовый контроллер 10GbE SFP+.
- Broadcom P210TP BCM957416A4160 — 2-портовый контроллер 10GbE 10GBASE-T.
Проблема
Возможная проблема с некоторыми экземплярами — контроллер работает, но невозможна настройка через niccli (сообщение Card not in operational state). Обновление прошивки под Windows Server при этом недоступно.
Решение
Обновление прошивки возможно в Linux.
Дополнение от 04.2026 (новая архитектура драйвера)
Аналогичная проблема, карточка P210TP выдает статус Card not in operational state, не прошивается ни в Windows, ни в Linux (Alma 9.7, под id 1 и 2 здесь — набортные интерфейсы материнской платы Supermicro X13DEI-T на том же чипе):
sudo niccli --list
BoardId(Rev) MAC Address FwVersion PCIAddr Type Mode
1) BCM57416(B1) 7C:C2:55:87:1F:F6 226.0.145.0 0000:3E:00.0 NIC PCI
2) BCM57416(B1) 7C:C2:55:87:1F:F7 226.0.145.0 0000:3E:00.1 NIC PCI
3) BCM57416(NA) Card not in operational state 0000:98:00.0 NIC PCI
4) BCM57416(NA) Card not in operational state 0000:98:00.1 NIC PCI
sudo niccli -i 3 fw --update -f BCM957416A4160C.pkg --yes
WARNING : Don't perform power cycle or reboot the system while firmware update
is in progress as the device may become inoperable.
Active Package Version - N/A : Package Version on NVM - N/A
NetXtreme-E Controller at PCI Domain 0000:98:00:0
Device 0000:98:00:0 : Installing package file BCM957416A4160C.pkg
Device 0000:98:00:0 : will be updated to package version 236.1.155.0
Firmware Update is in progress. Please wait ...
#
Package installation failed.
EXIT CODE : 0B00303A
DESCRIPTION : Firmware image update failed
Command fw failed.
Причина: niccli не может завершить обновление прошивки с драйвером из ядра.
- Ставим модуль драйвера от Broadcom. Утилита nic_wizard не подходит, так как предназначена только для официально поддерживаемых дистрибутивов — поставим вручную через DKMS:
sudo dnf install -y epel-release sudo dnf config-manager --set-enabled crb sudo dnf install -y dkms gcc make kernel-devel kernel-headers sudo reboot
Устанавливаем dkms-драйвер, проверяем версию модуля:
sudo dnf install bnxt_en-1.10.3.236.1.155.0-1dkms.noarch.rpm modinfo bnxt_en filename: /lib/modules/5.14.0-611.45.1.el9_7.x86_64/extra/bnxt_en.ko.xz version: 1.10.3-236.1.155.0 description: Broadcom NetXtreme-C/E/S network driver
- С новым драйвером отображается ревизия
sudo niccli --list
BoardId(Rev) MAC Address FwVersion PCIAddr Type Mode
1) BCM57416(B1) 7C:C2:55:87:1F:F6 226.0.145.0 0000:3E:00.0 NIC PCI
2) BCM57416(B1) 7C:C2:55:87:1F:F7 226.0.145.0 0000:3E:00.1 NIC PCI
3) BCM57416(B1) Card not in operational state 0000:98:00.0 NIC PCI
4) BCM57416(B1) Card not in operational state 0000:98:00.1 NIC PCI
и всё шьется
sudo niccli -i 3 fw --update -f BCM957416A4160C.pkg --yes
WARNING : Don't perform power cycle or reboot the system while firmware update
is in progress as the device may become inoperable.
Active Package Version - 216.0.333.11 : Package Version on NVM - 216.0.333.11
NetXtreme-E Controller at PCI Domain 0000:98:00:0
Device 0000:98:00:0 : Installing package file BCM957416A4160C.pkg
Device 0000:98:00:0 : will be updated to package version 236.1.155.0
Firmware Update is in progress. Please wait ...
######################################
Firmware update is completed.
A system reboot or device reset is needed for the firmware update to take effect.
- После прошивки нужна холодная перезагрузка или power cycle.
sudo niccli --list
BoardId(Rev) MAC Address FwVersion PCIAddr Type Mode
1) BCM57416(B1) 7C:C2:55:87:1F:F6 226.0.145.0 0000:3E:00.0 NIC PCI
2) BCM57416(B1) 7C:C2:55:87:1F:F7 226.0.145.0 0000:3E:00.1 NIC PCI
3) BCM57416(B1) E4:3D:1A:DC:9D:A0 236.1.126.0 0000:98:00.0 NIC PCI
4) BCM57416(B1) E4:3D:1A:DC:9D:A1 236.1.126.0 0000:98:00.1 NIC PCI
sudo niccli --dev 3 show
NIC State : Down
Device Type : WHITNEY+
PCI Vendor ID : 0x14E4
PCI Device ID : 0x16D8
PCI Revision ID : 0x1
PCI Subsys Vendor ID : 0x14E4
PCI Subsys Device ID : 0x1602
Device Interface Name : ens5f0np0
MAC Address : E4:3D:1A:DC:9D:A0
Base MAC Address : E4:3D:1A:DC:9D:A0
Serial Number : A41602135002P6FV
Part Number : BCM957416A4160
PCI Address : 0000:98:00.0
Chip Number : BCM57416
Chip Name : WHITNEY+
Description : Broadcom BCM57412 2x10GbT PCIe Ethernet NIC
Firmware Name : CHIMP_FW
Firmware Version : 236.1.126.0
RoCE Firmware Version : 236.1.126.0
HWRM Interface Spec : 1.10.3
Kong mailbox channel : Disabled
Active Package Version : 236.1.155.0
Package Version on NVM : 236.1.155.0
Active NVM config version : 216.0.0
NVM config version : 216.0.0
Reboot Required : No
HCRM Profile ID : 1
HCRM Profile Version : 1.0.8
Firmware Reset Counter : 0
Error Recovery Counter : 0
Crash Dump Timestamp : Not Available
Secure Boot : Enabled
Secure Firmware Update : Enabled
Secure SOC Enabled : No
Device Temperature : 50 Celsius
PHY Temperature : 51 Celsius
Optical Module Temperature : Not Available
Device Health : Good
Старая архитектура драйвера (<2024 год, sliff)
- Устанавливаем поддерживаемый дистрибутив Linux (что-нибудь RHEL-совместимое — например, Alma).
- Ставим kernel-devel, dkms из EPEL, с сайта Broadcom — niccli. В архиве вместе с niccli будет дополнительный модуль sliff для работы с контроллерами через niccli.
- Проблема до прошивки:
sudo niccli --list
-------------------------------------------------------------------------------
Scrutiny NIC CLI v228.0.132.0 - Broadcom Inc. (c) 2023 (Bld-61.52.25.90.16.0)
-------------------------------------------------------------------------------
BoardId MAC Address FwVersion PCIAddr Type Mode
1) BCM57412 Card not in operational state 00:AF:00:00 NIC PCI
2) BCM57412 Card not in operational state 00:AF:00:01 NIC PCI
- Собираем модуль sliff, прошиваем контроллер:
$ sudo niccli -dev 1 install BCM957412A4120AC.pkg ------------------------------------------------------------------------------- Scrutiny NIC CLI v228.0.132.0 - Broadcom Inc. (c) 2023 (Bld-61.52.25.90.16.0) ------------------------------------------------------------------------------- WARNING : Don't perform power cycle or reboot the system while firmware update is in progress as the device may become inoperable. Active Package Version - 216.0.333.11 : Package Version on NVM - v216.0.333.11 NetXtreme-E Controller at PCI Domain 0000:af:00:0 Device 0000:af:00:0 : Installing package file BCM957412A4120AC.pkg Device 0000:af:00:0 : will be updated to package version v228.1.111.0 Do you want to continue (y/n)?y ################################# Firmware update is completed. A system reboot is needed for firmware update to take effect. FW package update SUCCESS!
- Проверяем после перезагрузки:
sudo niccli --list
-------------------------------------------------------------------------------
Scrutiny NIC CLI v228.0.132.0 - Broadcom Inc. (c) 2023 (Bld-61.52.25.90.16.0)
-------------------------------------------------------------------------------
BoardId MAC Address FwVersion PCIAddr Type Mode
1) BCM57412 14:23:F2:A0:A6:F0 228.0.116.0 00:AF:00:00 NIC PCI
2) BCM57412 14:23:F2:A0:A6:F1 228.0.116.0 00:AF:00:01 NIC PCI
