スクリプトは実行されませんが、GPUメモリはまだ割り当てられています。

スクリプトは実行されませんが、GPUメモリはまだ割り当てられています。

私はローカルコンピュータからリモートLinuxサーバーにアクセスしています。リモートサーバーではスクリプトは実行されていませんが、GPUメモリはまだ割り当てられています。 PS:一部の競合が原因で発生する可能性があります。

パフォーマンスnvidia-smi:

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 510.47.03    Driver Version: 510.47.03    CUDA Version: 11.6     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA A100-PCI...  Off  | 00000000:31:00.0 Off |                    0 |
| N/A   34C    P0    42W / 250W |  19403MiB / 40960MiB |      0%      Default |
|                               |                      |             Disabled |
+-------------------------------+----------------------+----------------------+
|   1  NVIDIA A100-PCI...  Off  | 00000000:4B:00.0 Off |                    0 |
| N/A   35C    P0    59W / 250W |  10886MiB / 40960MiB |      0%      Default |
|                               |                      |             Disabled |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A       583      C                                    1001MiB |
|    0   N/A  N/A     16158      C                                    5065MiB |
|    0   N/A  N/A     35103      C                                    1291MiB |
|    0   N/A  N/A     46387      C                                    1337MiB |
|    0   N/A  N/A     54860      C                                    1273MiB |
|    0   N/A  N/A     71766      C                                    2077MiB |
|    0   N/A  N/A     80967      C                                    4991MiB |
|    0   N/A  N/A     83598      C                                    1071MiB |
|    0   N/A  N/A     93077      C                                    1293MiB |
|    1   N/A  N/A       583      C                                     917MiB |
|    1   N/A  N/A     47859      C                                    1297MiB |
|    1   N/A  N/A     74282      C                                    1273MiB |
|    1   N/A  N/A     90599      C                                    7397MiB |
+-----------------------------------------------------------------------------+

終了しようとすると、「該当するプロセスがありません」というエラーが発生します。

>>> kill -9 16158
-bash: kill: (16158) - No such process

そして、ps -p PID次のいずれでもプロセスを検出できません。

>>> ps -p 583
 PID TTY          TIME CMD

この記憶をどのように解放できますか?この問題は数週間続き、今日OOMの問題が発生しました。

関連情報