応答しないプロセス・ゾンビプロセスが残っている
アプリケーションが応答しなくなった、killしても止まらない、psに<defunct>という表示が増えている。プロセスの「状態」を読めば、取るべき対処が分かります。
どんな症状か
処理が終わらないままCPUを使い続ける、画面やAPIが応答しない、killを実行しても消えない、psに[プロセス名] <defunct>という行が並ぶ、といった症状です。
原因を切り分ける
ステップ1:プロセスの状態(STAT)を確認する
$ ps -eo pid,ppid,stat,etime,cmd --sort=-pcpu | head -n 5
PID PPID STAT ELAPSED CMD
4821 1497 R 03:12:44 hung_process
5310 5302 D 41:05 /usr/bin/rsync -a /data /mnt/nfs/backup
5402 5390 Z 12:30 [worker] <defunct>
| STAT | 状態 | 対処の方向 |
|---|---|---|
| R | 実行中(CPUを使い続けている) | 無限ループなど。SIGTERM → 止まらなければ SIGKILL |
| S | 待機中(通常の状態) | 応答しないなら、何を待っているかを調べる |
| D | I/O待ち(割り込みできない) | kill -9 でも止まらない。待っているディスクやNFSを調べる |
| Z | ゾンビ(終了したが、親が後始末していない) | ゾンビ自体は kill できない。親プロセスを調べる |
| T | 停止中(Ctrl+Z などで止められた) | fg・bg や SIGCONT で再開する |
ステップ2:R・S状態のプロセスを止める
$ kill 4821 # まずは SIGTERM(15番)。後始末をして終了するよう依頼する
$ ps -p 4821 -o pid,stat,cmd
$ kill -9 4821 # 終了しない場合だけ SIGKILL(9番)で強制終了する
いきなりkill -9を使うと、プログラムが一時ファイルの削除やデータの書き込みを終えられず、データが壊れることがあります。まずはkill(SIGTERM)で終了を依頼し、数秒待っても終わらない場合だけ-9を使います。サービスとして動いているものは、systemctl restartで再起動するのが基本です。
ステップ3:D状態のプロセスは、待っている先を調べる
D状態は、カーネルの中でディスクやネットワーク上のストレージ(NFSなど)の応答を待っている状態で、kill -9も受け付けません。dmesg -Tやjournalctl -kでI/Oのエラーやタイムアウト(nfs: server not respondingなど)が出ていないかを確認し、原因になっているストレージ側を復旧させます。
ステップ4:ゾンビは親プロセスを調べる
$ ps -eo pid,ppid,stat,cmd | awk '$3 ~ /^Z/'
5402 5390 Z [worker] <defunct>
$ ps -p 5390 -o pid,stat,cmd
PID STAT CMD
5390 S /usr/bin/python3 /opt/app/manager.py
ゾンビは、子プロセスが終了したのに、親プロセスが終了の後始末(wait)をしていない状態です。すでに終了しているため、ゾンビ自体をkillしても消えません。親プロセス(PPID)を再起動すると、ゾンビはinit(PID 1)に引き取られて片付けられます。ゾンビはメモリをほとんど使いませんが、大量に増えるとプロセス番号を使い切るおそれがあります。
解決方法
- CPUを使い続けている場合:
SIGTERM → SIGKILL の順で終了させ、ログで原因(無限ループ、異常な入力など)を確認します。 - D状態の場合:
待っているストレージやネットワークを復旧させます。
どうしても解消しない場合は、計画的にサーバーを再起動します。 - ゾンビの場合:
親プロセスを再起動します。
繰り返し発生する場合は、アプリケーションの不具合として開発元に報告します。
再発を防ぐために
サービスとして動かすプログラムは、systemdのユニットで管理しておくと、Restart=on-failureによる自動再起動や、TimeoutStopSecによる停止時の強制終了を任せられます。プロセス数やゾンビの数を監視項目に入れておくと、異常に早く気付けます。
この記事の内容を練習できる課題
同じような状況を、ブラウザの練習用ターミナルで再現して試せます。本番のサーバーで慌てないよう、手順を一度なぞっておきましょう。
- フリーズしたプロセスへの対応(運用保守)
- プロセスを特定して終了させる(上級)
- 大量に残った同名プロセスをまとめて終了する(運用保守)
- 複数の異常プロセスを特定して終了させる(上級)
- ジョブを一時停止・再開する(上級)
ほかの課題は、練習問題の一覧から選べます。