応答しないプロセス・ゾンビプロセスが残っている

アプリケーションが応答しなくなった、killしても止まらない、psに<defunct>という表示が増えている。プロセスの「状態」を読めば、取るべき対処が分かります。

どんな症状か

処理が終わらないままCPUを使い続ける、画面やAPIが応答しない、killを実行しても消えない、psに[プロセス名] <defunct>という行が並ぶ、といった症状です。

原因を切り分ける

ステップ1:プロセスの状態(STAT)を確認する

$ ps -eo pid,ppid,stat,etime,cmd --sort=-pcpu | head -n 5
    PID    PPID STAT     ELAPSED CMD
   4821    1497 R       03:12:44 hung_process
   5310    5302 D          41:05 /usr/bin/rsync -a /data /mnt/nfs/backup
   5402    5390 Z          12:30 [worker] <defunct>
STAT状態対処の方向
R実行中(CPUを使い続けている)無限ループなど。SIGTERM → 止まらなければ SIGKILL
S待機中(通常の状態)応答しないなら、何を待っているかを調べる
DI/O待ち(割り込みできない)kill -9 でも止まらない。待っているディスクやNFSを調べる
Zゾンビ(終了したが、親が後始末していない)ゾンビ自体は kill できない。親プロセスを調べる
T停止中(Ctrl+Z などで止められた)fg・bg や SIGCONT で再開する

ステップ2:R・S状態のプロセスを止める

$ kill 4821            # まずは SIGTERM(15番)。後始末をして終了するよう依頼する
$ ps -p 4821 -o pid,stat,cmd
$ kill -9 4821         # 終了しない場合だけ SIGKILL(9番)で強制終了する

いきなりkill -9を使うと、プログラムが一時ファイルの削除やデータの書き込みを終えられず、データが壊れることがあります。まずはkill(SIGTERM)で終了を依頼し、数秒待っても終わらない場合だけ-9を使います。サービスとして動いているものは、systemctl restartで再起動するのが基本です。

ステップ3:D状態のプロセスは、待っている先を調べる

D状態は、カーネルの中でディスクやネットワーク上のストレージ(NFSなど)の応答を待っている状態で、kill -9も受け付けません。dmesg -Tやjournalctl -kでI/Oのエラーやタイムアウト(nfs: server not respondingなど)が出ていないかを確認し、原因になっているストレージ側を復旧させます。

ステップ4:ゾンビは親プロセスを調べる

$ ps -eo pid,ppid,stat,cmd | awk '$3 ~ /^Z/'
   5402    5390 Z    [worker] <defunct>
$ ps -p 5390 -o pid,stat,cmd
    PID STAT CMD
   5390 S    /usr/bin/python3 /opt/app/manager.py

ゾンビは、子プロセスが終了したのに、親プロセスが終了の後始末(wait)をしていない状態です。すでに終了しているため、ゾンビ自体をkillしても消えません。親プロセス(PPID)を再起動すると、ゾンビはinit(PID 1)に引き取られて片付けられます。ゾンビはメモリをほとんど使いませんが、大量に増えるとプロセス番号を使い切るおそれがあります。

解決方法

  • CPUを使い続けている場合:
    SIGTERM → SIGKILL の順で終了させ、ログで原因(無限ループ、異常な入力など)を確認します。
  • D状態の場合:
    待っているストレージやネットワークを復旧させます。
    どうしても解消しない場合は、計画的にサーバーを再起動します。
  • ゾンビの場合:
    親プロセスを再起動します。
    繰り返し発生する場合は、アプリケーションの不具合として開発元に報告します。

再発を防ぐために

サービスとして動かすプログラムは、systemdのユニットで管理しておくと、Restart=on-failureによる自動再起動や、TimeoutStopSecによる停止時の強制終了を任せられます。プロセス数やゾンビの数を監視項目に入れておくと、異常に早く気付けます。

関連する章:
プロセスとシグナルの基本は中級「プロセス優先度とジョブ制御の応用」、負荷の調べ方は「サーバーが重い・応答が遅い」で扱っています。

この記事の内容を練習できる課題

同じような状況を、ブラウザの練習用ターミナルで再現して試せます。本番のサーバーで慌てないよう、手順を一度なぞっておきましょう。

ほかの課題は、練習問題の一覧から選べます。