infiniband
イーサネットおよびInfiniband IPoIBインターフェイスを使用して「アクティブ - バックアップ」ボンドを作成できますか？
L3レベルを作成できますか？active-backupIPoIBがプライマリインターフェイスであるLinuxでは、イーサネットインターフェイスとInfiniband IPoIBインターフェイスをバインドしますか？そのために、イーサネットとインフィニバンドのサブネット範囲が重なるように設定しました。 ...
infiniband
infiniband
サーバーとNFSボリューム間のHDR Infinibandネットワークスループットを最大限に活用できますか？
私はCPUクラスタを構築するプロジェクトを進めていますが、サーバーとNFSストレージ（並列ファイルシステムではありません）はHDR InfiniBandケーブルで接続されています。このアーキテクチャでは、InfiniBandネットワークを介して適切なストレージI / Oパフォーマンスを得ることができますが、NFSはInfiniBand通信をサポートしますか？それとも、ストレージを書き込んで読み取るには、200Gイーサネット（IBネットワークではない）ファブリックを構築する必要がありますか？では、構成する必要があるものはありますか？ ...
infiniband
基本的なRedhat InfiniBandサポートと比較してMLNX OFEDをインストールする利点はありますか？
RHEL 8.8では、Mellanox InfiniBandハードウェアを使用するユーザーが選択できます。 Red Hatに付属のグループインストールInfiniBand Support（インストール中に選択）を利用してInfiniBandネットワーキングを有効にするか、スクリプトを選択してMLNX_OFED_LINUX-23.04-1.1.3.0-rhel8.8-x86_64.iso実行してmlnxofedinstallRed Hatパッケージを独自のパッケージに置き換えることができます。 ファームウェアアップデートに加えて、Red Hatパスを介してML...
infiniband
LinuxでPCIeデバイスがIDベースの注文（IDO）または緩和された注文（RO）をサポートしているかどうかを確認する方法
AMDによると、デバイスがIDOまたはROをサポートしている場合（ここでさらに定義されています）。たとえば、Infinibandカードがあります。 同様のツールを使用して、lspciデバイスがIdealまたは？をサポートしていることを確認できます。 それでは、どうすればいいですか？ ...
infiniband
CentOS 7のNFS/RDMA、小さなファイル破損
HPC環境には2つのノードシリーズがあります。 1つは7.1.1503（カーネル3.10.0-229.el7.x86_64）を実行し、もう1つは7.7.1908（カーネル3.10.0-1062.12.1.el7.x86_64）を実行します。どちらも1つずつインストールされています。NFS/RDMAサーバーにはベンダー（Melanox）が文書化した後、フラグがあります。 10.0.0.1:/pool0/home on /mnt/rdma type nfs (rw,relatime,sync,vers=3,rsize=262144,wsize=262144,na...
infiniband
RHELでInfiniband ib0を設定する
Mellanox HDR Infinebandカードが取り付けられている一部のサーバーでRHEL 7.9を実行します。 DVD経由で各デバイスにRHEL 7.9をインストールし、以下を選択しました。グラフィカルユーザーインターフェースを備えたサーバーとともに無制限の帯域幅をサポートそしていくつかの他の項目（下の5）。 したがって、Application - System Tools - Settings - Network対応するGUIの図がここで使用されます。 わかりました。接続済みしかし、これを行うと ip a表示されますib0 state DOWN...
infiniband
Infiniband RHEL7、NFS RDMAの設定とヘルプ
私が間違っている、または欠けている部分について誰かが助けることができることを願っています。 3つのテストサーバー（ホスト名node1..3）があり、各サーバーにはMellanox MT28908シリーズインフィニバンドカード、モデルCX653105Aが装備されています。 Mellanox HDRインフィニバンドスイッチQM8700があります。 RHEL 7.9を実行しているすべてのサーバーでカーネル3.10.0-1160.49.1.el7.x86_64 Access_Redhatストレージ管理ガイド、8.6を参照してください。NFS サーバーの構成。 sy...
infiniband
ネットワーク転送速度とハードウェア制限テスト
これはややコンピュータエンジニアリングとネットワークエンジニアリングの質問ですが、Linuxベースです。なし主にLinuxオペレーティングシステムを介して使用されます。私のハードウェアでLinuxオペレーティングシステムを使用するときに発生する速度制限を理解したいと思います。 無制限のブロードバンド(mellanox) QDR、FRD、EDR、HDRなど、さまざまなデータレートがリリースされました. HDRは現在100 Gbpsまたは200 Gbpsで動作しています（2021年ベースのMellanox広告を参照）。 以下でiperf使用rhel 7.9IPo...
infiniband
HDR IPoIBおよび10GbE以上の速度、放射率測定
私は大容量データファイル（10GB以上など）を処理するときにIPoIB {IP over infiniband}を使用しており、従来の1gbps有線ネットワーク速度よりも優れている必要があります。 背景： 1Gbps有線ネットワークでは、SSH安全コピー私のLinuxサーバーとWindows PC間の速度またはSambaファイル転送は次のとおりです。112MB/秒。 メモ:毎秒メガバイトです。私たちはより速くなりたいです。 私のLinuxサーバーにはMellanox HDR inifinibandスイッチとアダプタカードがあります。 100GbpsのH...
infiniband
RHEL 7でIPoIB（IP over infiband）、scp速度を設定する
RHEL 7.9のインフィニバンドの集中講座を進行中です。私のサーバーにはすべてHDR ConnectX-6カードが取り付けられています。これは、各サーバーがQ8700 mlnxに接続されたシンプルなLANの私の研究室にあります。変化まず、infinibandの基本的なネットワーキング機能だけが必要なので、サーバー間でデフォルトのnfsマウントを作成できますssh。scp c15つの名前のサーバーがあります。c5 それぞれはRHEL 7.9 x86-64を実行します。 mlnxofedinstall最初から最後までやりMLNX_OFED_LINUX-5.2...
infiniband
Infiniband インターフェイスは IPoIB トラフィックをルーティングしません。
私はPuppetまったく同じ方法で設定したいくつかのホストブロックを持っています。それらは同じハードウェア（同じブレードシャーシ）を持ち、まったく同じ方法で接続されており、一部のインターフェイスは他のインターフェイスとは異なる動作をします。これはInfinibandインターフェイスなので、同じコマンドを使用してテストできます。ibpingこれはibsysstat、有効なUVERBS / RDMA接続があることを示しています。たとえば、 master# ibsysstat 29 sysstat ping succeeded 機能しないLIDを持つノードは...
![Infiniband HCA、物理状態が無効になった状態で停止 [閉じる]](https://linux33.com/image/115221/Infiniband%20HCA%E3%80%81%E7%89%A9%E7%90%86%E7%8A%B6%E6%85%8B%E3%81%8C%E7%84%A1%E5%8A%B9%E3%81%AB%E3%81%AA%E3%81%A3%E3%81%9F%E7%8A%B6%E6%85%8B%E3%81%A7%E5%81%9C%E6%AD%A2%20%5B%E9%96%89%E3%81%98%E3%82%8B%5D.png)
.png)
infiniband
RDMA以外の設定のPermanent-ipoib.rulesを選択しますか？ (rhel7.3)
ネットワークを手動で再起動するとエラーが発生しましたjournalctl -xe。再起動するかどうかわからず、時間を再確認しませんでした。 2番目のアダプタが破損しています。名前を変更してipoibに適用するのと絡み合っているようですが、どうなるかはよくわかりません。 まず、いかなる種類のRDMAも使用せず、1Gb/s以上のスーパーネットワーク速度も必要ないことを明らかにしたいと思います。 -- Unit user-995.slice has begun shutting down. Feb 24 23:28:37 obfuscated.loc...
infiniband
第1四半期
最初にすべきこと：slurmやInfinibandの知識は必要ありません。これは純粋にテキスト処理の問題です。 第二 - 知っているib2slurm- コードが何らかの方法で破損しており、最新バージョンではない可能性があります。 - マッピングファイルの有無や形式に関係なく実行されるたびにコアダンプが生成されます。 ibnetdiscoverの出力をフォームごとに37行のチャンクに減らすことができます。 Switch 36 "S-0002c90200423e70" # "MF0;ibsw20:SX6036/U1" enhanced port 0...
infiniband
InfiniBandを介してリモートで起動するには？
2台のコンピュータにInfiniBandアダプタがあり、2台のコンピュータ間にInfiniBandケーブルがあり、コンピュータの1台のすべてのハードドライブを必要とするホストソフトウェア（iSCSI / SRP /など）を実行している場合、ハードドライブがないコンピュータはリモート起動を開始しますか？ イーサネットカードのiSCSIを理解してください。 BIOSには、ブートロード用の「十分な」イーサネットカードサポート/ドライバが組み込まれている必要があります。 しかし、MSI X99S SLI Plusなど、かなり伝統的なマザーボードの非統合Infin...