☰

権限を表示する％Mオプションがあるものとないものとの間の大きなパフォーマンスの違い

tag-icon • tag-icon linux files permissions find performance
権限を表示する％Mオプションがあるものとないものとの間の大きなパフォーマンスの違い

CentOS 7.6では、以下を実行して3,000,000個のファイルを含むフォルダ（Many_filesという）を作成しました。

for i in {1..3000000}; do echo $i>$i; done;

このコマンドを使用して、findそのディレクトリのファイル情報をファイルに書き込みます。これは驚くほど速く機能します。

$ time find many_files -printf '%i %y %p\n'>info_file

real    0m6.970s
user    0m3.812s
sys     0m0.904s

%M今すぐ権限を取得するために追加すると、次のようになります。

$ time find many_files -printf '%i %y %M %p\n'>info_file

real    2m30.677s
user    0m5.148s
sys     0m37.338s

このコマンドは時間がかかります。 Cプログラムでは、ファイルのinodeと権限情報を取得でき、この情報を struct statカーネルに保存できるため、これが私を驚かせました。struct inode

私の質問：

  1. この動作の原因は何ですか？
  2. あまりにも多くのファイルのファイル権限を取得するより高速な方法はありますか？

答え1

最初のバージョンには次のものだけが必要です。readdir(3)/getdents(2)この機能をサポートするファイルシステムで実行されたときのディレクトリです(ext4:filetype機能は で表示tune2fs -l /dev/xxx, xfs: ...ftype=1で表示xfs_info /mount/point)。

第二版もあります返品必要stat(2)ファイルごとに追加のinodeルックアップが必要なので、ファイルシステムとデバイスのためのより多くのルックアップが必要です。これは回転ディスクであり、キャッシュが保持されない場合はかなり遅くなる可能性があります。stat名前、inode、およびファイルタイプのみを探している場合は、ディレクトリエントリで十分であるため、これは必要ありません。

  The linux_dirent structure is declared as follows:

       struct linux_dirent {
           unsigned long  d_ino;     /* Inode number */
           unsigned long  d_off;     /* Offset to next linux_dirent */
           unsigned short d_reclen;  /* Length of this linux_dirent */
           char           d_name[];  /* Filename (null-terminated) */
                             /* length is actually (d_reclen - 2 -
                                offsetof(struct linux_dirent, d_name)) */
           /*
           char           pad;       // Zero padding byte
           char           d_type;    // File type (only since Linux
                                     // 2.6.4); offset is (d_reclen - 1)
           */
       }

次の場合でも同じ情報を使用できますreaddir(3)。

struct dirent {
    ino_t          d_ino;       /* Inode number */
    off_t          d_off;       /* Not an offset; see below */
    unsigned short d_reclen;    /* Length of this record */
    unsigned char  d_type;      /* Type of file; not supported
                                   by all filesystem types */
    char           d_name[256]; /* Null-terminated filename */
};

疑われましたが（より小さいサンプルでは...）、次の2つの出力を比較して確認しました。

strace -o v1 find many_files -printf '%i %y %p\n'>info_file
strace -o v2 find many_files -printf '%i %y %M %p\n'>info_file

私のLinux amd64カーネル5.0.xでは、これが主な違いとして現れます。

[...]

 getdents(4, /* 0 entries */, 32768)     = 0
 close(4)                                = 0
 fcntl(5, F_DUPFD_CLOEXEC, 0)            = 4
-write(1, "25499894 d many_files\n25502410 f"..., 4096) = 4096
-write(1, "iles/844\n25502253 f many_files/8"..., 4096) = 4096
-write(1, "096 f many_files/686\n25502095 f "..., 4096) = 4096
-write(1, "es/529\n25501938 f many_files/528"..., 4096) = 4096
-write(1, "1 f many_files/371\n25501780 f ma"..., 4096) = 4096
-write(1, "/214\n25497527 f many_files/213\n2"..., 4096) = 4096
-brk(0x55b29a933000)                     = 0x55b29a933000
+newfstatat(5, "1000", {st_mode=S_IFREG|0644, st_size=5, ...}, AT_SYMLINK_NOFOLLOW) = 0
+newfstatat(5, "999", {st_mode=S_IFREG|0644, st_size=4, ...}, AT_SYMLINK_NOFOLLOW) = 0
+newfstatat(5, "998", {st_mode=S_IFREG|0644, st_size=4, ...}, AT_SYMLINK_NOFOLLOW) = 0
+newfstatat(5, "997", {st_mode=S_IFREG|0644, st_size=4, ...}, AT_SYMLINK_NOFOLLOW) = 0
+newfstatat(5, "996", {st_mode=S_IFREG|0644, st_size=4, ...}, AT_SYMLINK_NOFOLLOW) = 0
+newfstatat(5, "995", {st_mode=S_IFREG|0644, st_size=4, ...}, AT_SYMLINK_NOFOLLOW) = 0
+newfstatat(5, "994", {st_mode=S_IFREG|0644, st_size=4, ...}, AT_SYMLINK_NOFOLLOW) = 0
+newfstatat(5, "993", {st_mode=S_IFREG|0644, st_size=4, ...}, AT_SYMLINK_NOFOLLOW) = 0
+newfstatat(5, "992", {st_mode=S_IFREG|0644, st_size=4, ...}, AT_SYMLINK_NOFOLLOW) = 0
+newfstatat(5, "991", {st_mode=S_IFREG|0644, st_size=4, ...}, AT_SYMLINK_NOFOLLOW) = 0
+newfstatat(5, "990", {st_mode=S_IFREG|0644, st_size=4, ...}, AT_SYMLINK_NOFOLLOW) = 0

[...]

+newfstatat(5, "891", {st_mode=S_IFREG|0644, st_size=4, ...}, AT_SYMLINK_NOFOLLOW) = 0
+write(1, "25499894 d drwxr-xr-x many_files"..., 4096) = 4096
+newfstatat(5, "890", {st_mode=S_IFREG|0644, st_size=4, ...}, AT_SYMLINK_NOFOLLOW) = 0

[...]

関連情報