NFSv3およびNFSv4のパフォーマンスの低下

ディスクレスシステム設定が2つあります。これらはすべて/home同じサーバーのマウントディレクトリから来ます。エクスポートは/homeKerberosを使用して問題なく動作しますが、パフォーマンスに問題があるようです。すべてが同じケーブル、同じポート構成などを使用して同じスイッチに接続されます。fstabNFSv3 と NFSv4 のサブセットが異なるため、インストールオプションが若干異なります。

約25000個の小さなファイル（10kb未満）を/dev/shm/dir各クライアントにコピーし（サーバーとクライアント間で物理的にコピー）、rsyncそれを自分のファイルに編集しました~。時間差は約15秒でした。なぜこれが起こるのか知っている人がいますか？ NFSv4はNFSv3より遅いですか？それともこの状況を改善するための特定のオプションはありますか？助けてくれて本当にありがとうございます。

仕える人

Debian "Bullseye", 5.10.0-23-amd64 #1 SMP Debian 5.10.179-1 (2023-05-12)
NFS Export: /home 1.2.3.4/24(rw,async,no_subtree_check,sec=krb5:krb5i:krb5p)

# cat /proc/fs/nfsd/versions
-2 +3 +4 +4.1 +4.2

NFSv3 を使用するクライアント 1

Debian "Bullseye", 5.10.0-23-amd64 #1 SMP Debian 5.10.179-1 (2023-05-12)

# cat /etc/fstab
5.6.7.8:/home  /home   nfs rw,nodev,nosuid,hard,nolock,proto=tcp,nfsvers=3,sec=krb5    0   0

# findmnt
└─/home   5.6.7.8:/home nfs   rw,nosuid,nodev,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,nolock,proto=tcp,timeo=600,retrans=2,sec=krb5,mountvers=3,mountport=40531,mountproto=tcp,local_lock=all

[client1] /dev/shm ➽ $ time rsync --links -r dir ~/dir1/
real    0m33,835s
user    0m0,582s
sys 0m6,062s

NFSv4.2 を使用するクライアント 2

Debian "Bookworm", 6.1.0-11-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.38-4 (2023-08-08)

# cat /etc/fstab
5.6.7.8:/home  /home   nfs rw,nodev,nosuid,ac,hard,proto=tcp,nfsvers=4.2,sec=krb5    0   0

# findmnt
└─/home   5.6.7.8:/home nfs4   rw,nosuid,nodev,relatime,vers=4.2,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=krb5,local_lock=none

[client2] /dev/shm ➽ $ time rsync --links -r dir ~/dir2/
real    0m48,155s
user    0m0,671s
sys 0m8,472s

編集: 9月10日, 11:53

私は統計を読んだmountstats。また、暗号化がスループットに顕著な影響を与えないことがわかりました/home。krb5p方法論：

• cat /proc/self/mountstats > /dev/shm/mountstats.start
• 走るrsync
• mountstats mountstats --since /dev/shm/mountstats.start > nfs.mountstats.rsync.txt
• mountstats iostat --since /dev/shm/mountstats.start > nfs.iostat.rsync.txt

NFSv3 client 

           ops/s       rpc bklog
        1874.078           0.000

read:              ops/s            kB/s           kB/op         retrans    avg RTT (ms)    avg exe (ms)
                   0.000           0.000           0.000        0 (0.0%)           0.000           0.000
write:             ops/s            kB/s           kB/op         retrans    avg RTT (ms)    avg exe (ms)
                 159.312         228.017           1.431        0 (0.0%)           0.720           0.843

NFSv4.2 client

           ops/s       rpc bklog
        1436.392           0.000

read:              ops/s            kB/s           kB/op         retrans    avg RTT (ms)    avg exe (ms)  avg queue (ms)          errors
                   0.025           0.062           2.449        0 (0.0%)           0.500           0.500           0.000        0 (0.0%)
write:             ops/s            kB/s           kB/op         retrans    avg RTT (ms)    avg exe (ms)  avg queue (ms)          errors
                 129.076         201.433           1.561        0 (0.0%)           0.322           0.407           0.061        0 (0.0%)

編集: 9月11日, 9:33

Debian "Bookworm" 12を使用して追加のNFSサーバーを作成し、nvmeドライブに単純なKerberized以外のNFS 4.2共有を作成しました。違いはなく、rsync約50秒かかります。だからこれいいえ明らかにOS/カーネル/ハードウェアの問題ですが、NFSに関連しています。

その後、NFSv3を使用して同じ共有をマウントしましたが、これはrsync約26秒かかりました。それでは、NFSv4はNFSv3に比べて本当に遅いですか？？

編集：9月11日18:29（@ronの回答への回答）

あなたはシステム（nfsサーバーとnfsクライアント）の唯一の他の人ですか？

現在、2つの設定がありますが、1つは他のコンピュータと共有されていますが、テスト時には共有を使用する人がほとんどなく、I / Oはアイドルレベルでした。 2番目の設定はプライベートです。

他のネットワーク負荷がありますか？

「アイドル」トラフィックのみをテストしてください。 10Gbpsコアファイバーアップリンクがあり、ワークステーションには1Gbpsアップリンクがあります。 HPエンタープライズスイッチ。ネットワークの問題を最小限に抑えるため（ルータを介してこのトラフィックをプッシュしたくない場合）、NFSサーバーとすべてのワークステーションは同じサブネット上にあり、同じスイッチに接続されます。これは新しい設定ではなく、NFSv3からNFSv4に切り替えようとしています。

ネットワークを設定し、スイッチ/ルーターを完全に制御できます。 >または一度も会ったことがない人がすべて設定して管理します。

ハードウェアを制御して設定します。

Kerberosセキュリティ設定を使用すると、パフォーマンスを向上させるためにセキュリティを追加することもできます。誰もそのようなことを言ったことがありません。

Kerberosが適用されたマウントとKerberosが適用されていないマウントの両方を試しましたが、どちらもNFSv3がNFSv4より高速であることを示しています。

私は倒れましたこれは偶然です。私たちはほぼ200のディスクレスブートワークステーションを持っています。全体的にすべてがうまく動作します。今年、NFSv4を使用して新しいシステム（最新のDebian 12）を設定すると、解凍されたアーカイブ（多くの小さなファイル、アイコン、いくつかのシンボリックリンクを含む）をコピーするのに少し時間がかかりました。だからコピーが必要かどうかを確認することにしました。~について（そうです。いいえ小さな変更に注意してください）以前のNFSv3システムでは、NFSv4では時間がかかることがわかりました。私は常にTCP（）を使用してKerberosを使用したり使用したりせずに試しましたproto=tcp。

方程式には変数が多いと思いますので、Kerberosなどはしばらく忘れてしまいます。私は次のような個人システムを設定しました。

• Kerberos なし
• サーバーはNVMEドライブにある単一のディレクトリをエクスポートします。
• クライアントはkerberosなしでエクスポートされたディレクトリをマウントします。nfsvers=4.2,ac,rw
• クライアントとサーバーの両方が1Gbpsイーサネットを備えたDellワークステーションです。
• クライアントとサーバーの両方が同じスイッチに接続され、同じサブネット（VLAN）にあるため、ネットワークトラフィックにルーターがありません。
• クライアントとサーバーの両方が同じオペレーティングシステムとカーネルを実行します。Debian 12 "Bookworm"6.1.0-12-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.52-1 (2023-09-07)

その後、私は次の簡単なテストを何度も実行しました。

• コピーするファイルを含むアーカイブをインポートします/dev/shm。これ：https://github.com/vinceliuice/Tela-icon-theme/archive/refs/tags/2023-06-25.tar.gz
• アーカイブを解凍する
• rsync --links -r unpacked_archive /path/to/mounted/nfsshare/dest

約50秒ほどかかりました。

• その後、NFSv3を使用して共有を再マウントしました。
• そして同じテストを繰り返します

約30秒ほどかかりました。

したがって、同じマシン、同じネットワーク、Kerberosなし、同じシステム、同じカーネル、NFSバージョンのみが異なります。そして大きな違いがあります。面白くて何が起こっているのか知りたかったし、何かを学びたかった。現時点では、これらのすべての要素を考えようとすると、NFSv4が遅いこと以外は答えがありません。 NFSv4のパフォーマンスに関する非常に古い記事を見つけて、それ以来多くの変更があると予想しましたが、この場合はそうではありませんか？

NFSv4ファイル生成速度は実際にはNFSv3ファイル生成速度の半分程度であり、 https://www.linux.com/news/benchmarking-nfsv3-vs-nfsv4-file-Operation-performance/

私の場合、マウントされたNFS共有に小さなファイルをたくさん作成しました。

多くの小さなファイルを試してみるのはなぜ重要ですか？学生はGitを使用しているので、大規模なIDEは小さなファイルをたくさん、時には何百ものものを生成し、学生は多くのソフトウェアをコンパイルするなどのタスクを実行します。そして多くの学生がいます。何千もの小さなファイルがあります。

9月12日10時55分（テスト結果）

大容量ファイルの転送に問題が発生したことはなく、毎日実行し、速度は最大アップストリーム速度に近いです。しかし、とにかく大容量ファイルでコピーテストをしてみました。/nvmeNFS共有です。

/dev/shm ➽ $ dd status=progress if=/dev/zero of=test.file bs=1M count=6000
3488612352 bytes (3,5 GB, 3,2 GiB) copied, 1 s, 3,5 GB/s
6000+0 records in
6000+0 records out
6291456000 bytes (6,3 GB, 5,9 GiB) copied, 1,80348 s, 3,5 GB/s

[orange14] /dev/shm ➽ $ rsync --verbose --progress test.file /nvme/test.file

sent 6.292.992.082 bytes  received 35 bytes  105.764.573,39 bytes/sec
total size is 6.291.456.000  speedup is 1,00

私も何枚コピーしてscp時間を記録してみました。

[orange14] /dev/shm ➽ $ time scp test.file /nvme/test.file6

real    0m59,463s
real    0m59,700s
real    0m59,780s

約105MB/s。

より大きなメモリを持つシステムでテストしている場合は、現在この目的に使用できるスペアサーバーがなく、現在NFSの詳細なテストを実行する時間がかかりません。小さなファイルに対していくつかのテストを繰り返してプロットしました。サーバーとクライアントはどちらも、Dellワークステーション、同じオペレーティングシステム、同じカーネル、Kerberosなし、単純なNFSv3またはNFSv4.2共有です。同じファイルをコピーし続けました。

フレンドリーな安否