☰

Linux：メモリが不足しており、大量のメモリがプロセスで使用されたり、使用可能になったりしません。

tag-icon • tag-icon linux out-of-memory
Linux：メモリが不足しており、大量のメモリがプロセスで使用されたり、使用可能になったりしません。

本番システムでは、Dockerコンテナで実行されているサービスと共に、Intel NUC（4GB RAM、2GBスワップ）でLinux（カーネル5.10.55-051055-generic）を使用します。これは主にTCPを介してzmqと通信する小規模サービスですが、統合Intel GPUでOpenVinoを使用してCNNを実行するサービスでもあります。

時間が経つにつれて（私たちがメモリを確認したシステムは約30日間実行されました）、どういうわけかメモリを「失いました」。これは、大量のメモリ（1 GB以上）がプロセスで使用されておらず、使用可能としてマークされていないことを意味します。その場合、問題は、このメモリを何に使用しているのか、なぜ使用できないのかということです。

私たちが確認した内容：

  • docker統計メモリ使用量（Ubuntuコマンドライン環境ではdockerコンテナのみを実行しているため）：しかし、この値はこの問題を調査するのにあまり役に立ちません。
  • /sys/fs/cgroup/memory/docker/<container_id>/memory.usage_in_bytes および ...memory.stats に示されている Docker コンテナのメモリ使用量: Docker コンテナで使用されるメモリと使用可能なメモリの間に大きな違いがあります。
  • oom Killerのログ出力：出力では、各プロセスの合計メモリ使用量は約2.5GBです。これは、1GB以上のメモリが何らかの方法で欠落していることを意味します。
  • /proc/<process_id>/smapsのデータ（直接計算して使用）プロランク）：利用可能な容量が数百MBしかない場合、全体の容量は最大2〜2.5 GBにすぎません（1GB以上も欠けています）。
  • pidstat -trl：再び1GB以上の損失
  • echo m > /proc/sysrq-trigger：再び1GB以上の損失

freeコマンドとprocrankサマリー出力（2秒以内に生成）：

                          Pss       Uss
                          1880676K  1855268K  TOTAL

RAM: 3672156K total, 136388K free, 17756K buffers, 417332K cached, 249268K shmem, 229920K slab

              total        used        free      shared  buff/cache   available
Mem:        3672156     3002328      138476      249268      531352      175376
Swap:       1951740     1951740           0

出力echo m > /proc/sysrq-trigger：

[2948794.936393] sysrq: Show Memory
[2948794.936404] Mem-Info:
[2948794.936412] active_anon:196971 inactive_anon:206372 isolated_anon:0
                  active_file:109642 inactive_file:83546 isolated_file:0
                  unevictable:36 dirty:369 writeback:0
                  slab_reclaimable:27505 slab_unreclaimable:37597
                  mapped:84417 shmem:222 pagetables:6893 bounce:0
                  free:61015 free_pcp:1514 free_cma:0
[2948794.936417] Node 0 active_anon:787884kB inactive_anon:825488kB active_file:438568kB inactive_file:334184kB unevictable:144kB isolated(anon):0kB isolated(file):0kB mapped:337668kB dirty:1476kB writeback:0kB shmem:888kB shmem_thp: 0kB shmem_pmdmapped: 0kB anon_thp: 0kB writeback_tmp:0kB kernel_stack:22176kB all_unreclaimable? no
[2948794.936419] Node 0 DMA free:14340kB min:296kB low:368kB high:440kB reserved_highatomic:0KB active_anon:68kB inactive_anon:144kB active_file:68kB inactive_file:140kB unevictable:0kB writepending:0kB present:15992kB managed:15904kB mlocked:0kB pagetables:0kB bounce:0kB free_pcp:0kB local_pcp:0kB free_cma:0kB
[2948794.936425] lowmem_reserve[]: 0 772 3487 3487 3487
[2948794.936431] Node 0 DMA32 free:96236kB min:14912kB low:18640kB high:22368kB reserved_highatomic:0KB active_anon:134108kB inactive_anon:163616kB active_file:40544kB inactive_file:80604kB unevictable:0kB writepending:20kB present:902612kB managed:837040kB mlocked:0kB pagetables:4820kB bounce:0kB free_pcp:1896kB local_pcp:444kB free_cma:0kB
[2948794.936439] lowmem_reserve[]: 0 0 2714 2714 2714
[2948794.936448] Node 0 Normal free:133484kB min:52368kB low:65460kB high:78552kB reserved_highatomic:2048KB active_anon:653708kB inactive_anon:661728kB active_file:397956kB inactive_file:253440kB unevictable:144kB writepending:1456kB present:2891776kB managed:2786464kB mlocked:48kB pagetables:22752kB bounce:0kB free_pcp:4160kB local_pcp:856kB free_cma:0kB
[2948794.936455] lowmem_reserve[]: 0 0 0 0 0
[2948794.936460] Node 0 DMA: 7*4kB (UME) 3*8kB (UE) 15*16kB (UME) 7*32kB (ME) 4*64kB (UM) 4*128kB (UME) 3*256kB (UME) 2*512kB (ME) 1*1024kB (E) 1*2048kB (E) 2*4096kB (M) = 14340kB
[2948794.936482] Node 0 DMA32: 3295*4kB (UME) 4936*8kB (UME) 1099*16kB (UME) 154*32kB (UME) 53*64kB (UME) 16*128kB (ME) 9*256kB (ME) 6*512kB (UM) 6*1024kB (ME) 2*2048kB (M) 0*4096kB = 96236kB
[2948794.936505] Node 0 Normal: 3621*4kB (MEH) 1357*8kB (MEH) 2857*16kB (UMEH) 693*32kB (UMEH) 259*64kB (UMEH) 41*128kB (ME) 22*256kB (ME) 11*512kB (ME) 7*1024kB (M) 0*2048kB 0*4096kB = 133484kB
[2948794.936526] Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=1048576kB
[2948794.936528] Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=2048kB
[2948794.936529] 184470 total pagecache pages
[2948794.936532] 10069 pages in swap cache
[2948794.936534] Swap cache stats: add 1891574, delete 1881493, find 2324524/2691454
[2948794.936535] Free swap  = 832060kB
[2948794.936536] Total swap = 1951740kB
[2948794.936537] 952595 pages RAM
[2948794.936539] 0 pages HighMem/MovableOnly
[2948794.936541] 42743 pages reserved
[2948794.936542] 0 pages hwpoisoned

出力df -h | grep -e tmpfs -e Filesystem

Filesystem Size Used Avail Use% Mounted on 
tmpfs 359M 4.2M 355M 2% /run 
tmpfs 1.8G 0 1.8G 0% /dev/shm 
tmpfs 5.0M 0 5.0M 0% /run/lock 
tmpfs 1.8G 0 1.8G 0% /sys/fs/cgroup 
tmpfs 359M 0 359M 0% /run/user/0 
tmpfs 359M 0 359M 0% /run/user/1000

編集：htop出力（親プロセスのみ、mem％でソート） ここに画像の説明を入力してください。

答え1

Docker自体がネットワークスタックなどを保守するRAMを消費するためだそうです。また、一部のメモリはキャッシュのように使用されます。htop「不足している」メモリが使用されている場所を指摘するなど、コマンドを使用してそれらを区別できます。

編集：キーを有効にしてhtop設定するF2 と、特定のプロセスで使用されるプロセスの割合を示す列を追加できます。

最高設定

関連情報