☰

RHELでInfiniband ib0を設定する

tag-icon • tag-icon rhel infiniband
RHELでInfiniband ib0を設定する

Mellanox HDR Infinebandカードが取り付けられている一部のサーバーでRHEL 7.9を実行します。 DVD経由で各デバイスにRHEL 7.9をインストールし、以下を選択しました。グラフィカルユーザーインターフェースを備えたサーバーとともに無制限の帯域幅をサポートそしていくつかの他の項目（下の5）。

したがって、Application - System Tools - Settings - Network対応するGUIの図がここで使用されます。

わかりました。接続済みしかし、これを行うと ip a表示されますib0 state DOWN。これは単純なLANにあり、下の図ではipv4設定のゲートウェイ値を設定していませんが、それは重要ではないと思いますProxy = None。IPv6 Settings = ignore

  • 私は何を逃したかしなかったのですか？
  • 必ず使うべきですかMLNX_OFED_LINUX-5.5-1.0.3.2-rhel7.9-x86_64.iso？では、どのような部分がありますか？
  • 以前のRHELインストールでMLNX isoのmlnxofedinstallを実行しましたが、ib0ネットワークが正常に動作しましたが、isoのmlnxofedinstallが既存のrdmaコンテンツを削除してNFS + RDMAの問題を引き起こしているようで、ちょっとパニックになりました。
  • アップデート：opensmを実行している4つのサーバーのうち1つで、mlnxofedinstall --with-nfsrdmaすべてのサーバーインフィニバンドに緑色のリンクライトが点灯します。オープンスエムで作ったの？しかし、その結果、私がrdma.service実行していたサーバーが何とか失われ、mlnxofedinstall onnfs + rdmaが機能するようにしたかった変更がキャンセルされました。

ここに画像の説明を入力してください。 ここに画像の説明を入力してください。 ここに画像の説明を入力してください。 ここに画像の説明を入力してください。

Usage: ./mlnxofedinstall [OPTIONS]

Installation control:
    --force              Force installation
    --tmpdir             Change tmp directory. Default: /tmp
    -k|--kernel <version>
                         Default on this system: 3.10.0-1160.49.1.el7.x86_64
    -s|--kernel-sources <path>
                         Default on this system: /lib/modules/3.10.0-1160.49.1.el7.x86_64/build
    -U|--update          Update installed version
    --with-32bit         Install 32-bit libraries. Relevant for x86_64 platforms
    --without-32bit      Skip 32-bit libraries installation (Default). Relevant for x86_64 platforms
    --distro             Set Distro name for the running OS (e.g: rhel6.5, sles11sp3). Default: Use auto-detection
    --skip-distro-check  Do not check MLNX_OFED_LINUX vs Distro matching
    --without-depcheck   Run the installation without verifying that all required Distro's packages are installed
    --check-deps-only    Check for missing required Distro's packages and exit
    --print-distro       Print distribution name and exit

    --add-kernel-support
                         Add kernel support (Run mlnx_add_kernel_support.sh) and install it
    --add-kernel-support-build-only
                         Add kernel support (Run mlnx_add_kernel_support.sh) and exit

    --kernel-extra-args '<args>'
                         pass <args> to kernel configure script (single paraeter, space separated)
                         - Pass it along with --add-kernel-support

    --kmp                Install kernel RPMs with KMP support if available
                         - Enabled by default with official MLNX_OFED_LINUX releases
                         - Disabled by default if new MLNX_OFED_LINUX was created with mlnx_add_kernel_support.sh
                         - Passing it along with --add-kernel-support will pass --kmp to mlnx_add_kernel_support.sh
    --disable-kmp        Install kernel RPMs without KMP support if available
                         - Enabled by default if new MLNX_OFED_LINUX was created with mlnx_add_kernel_support.sh
    --skip-kmp-verify    Do not check if the KMP rpms are compatiable with the target kernel
    --speed-up-kmp       Speed up KMP RPMs installation by skipping %post section and running the required operations once for all KMPs

    --umad-dev-rw        Grant non root users read/write permission for umad devices instead of default
    --umad-dev-na        Prevent from non root users read/write access for umad devices. Overrides '--umad-dev-rw'
    --enable-mlnx_tune   Enable Running the mlnx_tune utility
    --enable-affinity    Run mlnx_affinity script upon boot
    --disable-affinity   Disable mlnx_affinity script (Default)
    --skip-unsupported-devices-check
                         Don't abort if system has an older, unsupported card
    --enable-opensm      Run opensm upon boot

    --package-install-options
                         RPM install options to use when installing RPM packages (comma separated list)
    --pre-install-<package> <path to script>
                         Run given script before given package's install
    --post-install-<package> <path to script>
                         Run given script after given package's install

Firmware update control:
    --without-fw-update  Skip firmware update
    --fw-update-only     Update firmware. Skip driver installation
    --force-fw-update    Force firmware update
    --fw-image-dir       Firmware images directory to use instead of default package content

Package selection:
    -c|--config <packages config_file>
                         Example of the config file can be found under docs
    --all                Install all available packages
    --bluefield          Install BlueField packages
    --hpc                Install minimum packages required for HPC
    --basic              Install minimum packages for basic functionality
    --dpdk               Install minimum packages required for DPDK
    --ovs-dpdk           Install DPDK and OVS packages
    --vma                Install minimum packages required for VMA
    --xlio                Install minimum packages required for XLIO
    --guest              Install minimum packages required by guest OS
    --hypervisor         Install minimum packages required by hypervisor OS
    --with-fabric-collector
                         Enable installing fabric-collector package
    --with-nvmf          Enable NVMEoF support
    --with-nfsrdma       Enable NFSoRDMA support
    --without-nfsrdma    Disable NFSoRDMA support (Default)

Extra package filtering:
    --kernel-only        Install kernel space packages only
    --user-space-only    Filter selected packages and install only User Space packages
    --without-<package>  Do not install package
    --with-<package>     Force installing package

Miscellaneous:
    -h|--help            Display this help message and exit
    --post-start-delay <sec>
                         Set openibd POST_START_DELAY parameter in seconds. (Default 0)
    -p|--print-available Print available packages for current platform
                     And create corresponding ofed.conf file

答え1

私の問題に対する解決策は、Infiniband SupportDVDからRHEL 7を再インストールしてからインストール時に選択することでした。私は選択の余地がなく、後で必要なものは何でもインストールできると思いました。

RedhatのInfinibandサポートパッケージまたはMLNX_OFED_LINUX-5.5-1.0.3.2-rhel7.9-x86_64.isoインストールの2つのパスから選択できるようです。

Infinebandカードでファームウェアをアップデートする以外に、MLNX isoから何もインストールせずにRedhatパスを正常に完了しました。

opensmは、infinibandネットワーク上の1つ以上のサーバーで実行する必要があります。これにより、infinibandカードに緑色の接続インジケータが点灯し、すべてが正常に機能します。

MLNX isoにより、互換性のないRedhat rpmがいくつか削除され、nfs + rdma操作とnfs操作に問題が発生します。別のサーバーで infiniband 接続が機能するように Redhat "infiniband サポート" インストールを実行する場合です。

結局、私はRedhat infinibandサポートパスを選択し、ファームウェアアップデートにのみMLNXを使用するという結論に達しました。自分が何をしているのかを知り、実際に望んでいない場合は、MLNX isoにLinuxにすべてをインストールさせないでください。すべて。

関連情報