サーバーとNFSボリューム間のHDR Infinibandネットワークスループットを最大限に活用できますか?

サーバーとNFSボリューム間のHDR Infinibandネットワークスループットを最大限に活用できますか?

私はCPUクラスタを構築するプロジェクトを進めていますが、サーバーとNFSストレージ(並列ファイルシステムではありません)はHDR InfiniBandケーブルで接続されています。このアーキテクチャでは、InfiniBandネットワークを介して適切なストレージI / Oパフォーマンスを得ることができますが、NFSはInfiniBand通信をサポートしますか?それとも、ストレージを書き込んで読み取るには、200Gイーサネット(IBネットワークではない)ファブリックを構築する必要がありますか?では、構成する必要があるものはありますか?

答え1

1gbpsの場合、1000/8 = 125MB/秒の最大スループットで、scp 112MB/秒(約10%のオーバーヘッドヒット)を観察しました。 1gbpsから100gbpsまでHDRインフィニバンドの100倍、つまり12500MB/sを見ることができると予想しますか?コピー速度、いいえ。私が見た中で最も速い速度は12.5GB / sscpではなく1.0GB / sです。私はそれを妨げる他の制約があると信じています。最高スループットはこんな感じです。ただし、同時に複数のコピーを実行することができ、従来の1gbpsスイッチと同様に速度低下は発生しません。

RHEL 7.9では、私の経験によれば、NFSとRDMAはRHEL 8.8(またはそれ以上?)ほど洗練されていて強力ではありません。rsync -P私が観察した最速の単一ファイルのコピー速度はNFSvers=4.2proto=rdma。単一ファイルコピーテストケースでは、2つのノードしかなかったのに比べて多くのノードが積極的に通信しているため、速度がより顕著になると思います。asyncsync

関連情報