ディスク使用率のアラート:何が容量を使っているか分からない
監視ツールから「/ のディスク使用率が90%を超えた」とアラートが来た。df -hで使用率が高いことは確認できたものの、どこが容量を使っているのかが分からない。運用監視で何度も出会う場面です。上から順に絞り込んでいけば、必ず原因にたどり着けます。
どんな症状か
df -hは「ファイルシステム全体でどれだけ使っているか」を表示するコマンドで、どのディレクトリやファイルが使っているかまでは教えてくれません。
$ df -h /
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/ubuntu--vg-ubuntu--lv 20G 18G 751M 97% /
この状態から、原因の場所を特定し、安全に空き容量を確保するまでの手順を順に見ていきます。慌てて目についたファイルを消すと、必要なデータを失ったり、アプリケーションを止めたりするおそれがあります。まず特定、それから対処の順番を守りましょう。
原因を切り分ける
ステップ1:容量ではなくinodeが尽きていないか確認する
$ df -i /
IUse%が100%近い場合は、容量ではなくファイルの数(inode)が尽きています。小さなファイルが大量に作られていることが原因なので、探し方が変わります(「ディスクの空き容量がない」のステップ2を参照)。容量の問題であれば、次に進みます。
ステップ2:/ の直下から、1階層ずつ大きい場所をたどる
$ sudo du -xh --max-depth=1 / 2>/dev/null | sort -rh | head
24G /
22G /var
33M /usr
1.2M /etc
48K /home
duは、ディレクトリごとに実際に使っている容量を集計します。-xは別のファイルシステムに入らないオプションで、/procや、別のディスクをマウントした/dataなどを数えずに、アラートが出たファイルシステムだけを調べられます。--max-depth=1で1階層だけを集計し、sort -rhで大きい順に並べるのが定番の形です。
$ sudo du -xh --max-depth=1 /var 2>/dev/null | sort -rh | head -n 4
22G /var
12G /var/log
9.6G /var/lib
1.3G /var/tmp
$ sudo du -xh --max-depth=1 /var/log 2>/dev/null | sort -rh | head -n 3
12G /var/log/app
12G /var/log
48K /var/log/nginx
$ ls -lh /var/log/app
-rw-r--r-- 1 user user 31 Nov 17 08:19 app.log
-rw-r--r-- 1 root root 11G Nov 17 08:17 debug.log
一番大きいディレクトリに入っては同じコマンドを繰り返し、ファイルにたどり着くまで絞り込みます。この例では、デバッグ用のログdebug.logが11GBまで大きくなっていたことが分かりました。
この記事のコマンドに
sudo を付けているのには理由があります。/var/lib や /var/log の一部、/root などは、root しか中を読めません。sudo を付けずに
du や find を実行すると、読めないディレクトリは数えられずに飛ばされ、本当に容量を使っている場所が小さく見えたり、一覧に出てこなかったりします。特に
2>/dev/null を付けていると「Permission denied」のエラーも捨てられるため、数え漏れに気付けないのが危険な点です。一方、ファイルシステム全体の数字を見るだけの
df や、誰でも読めるディレクトリの ls には sudo は不要です。sudo は何でもできてしまう権限なので、容量を空ける
rm などに付けるときは、消す対象を必ず確かめてから実行しましょう。duは大量のファイルを読むため、ファイルが多いサーバーでは時間がかかり、ディスクにも負荷をかけます。本番環境では、まず
/varや/homeなど怪しい場所から調べ、必要に応じてionice -c3 nice du ...のように優先度を下げて実行すると安心です。対話的にたどれる
ncduも便利ですが、標準では入っていない環境が多いです。ステップ3:大きなファイル・最近増えたファイルを直接探す
$ sudo find / -xdev -type f -size +1G 2>/dev/null
/var/log/app/debug.log
/var/lib/libvirt/images/web01.qcow2
/var/tmp/core.4211
/swap.img
$ sudo find / -xdev -type f -size +100M -mmin -60 2>/dev/null # 直近60分に更新された100MB超のファイル
どこから手を付けてよいか見当がつかないときは、findで大きなファイルを直接探すほうが早いこともあります。-size +1Gで1GBを超えるファイル、-mmin -60で直近60分に更新されたファイルに絞り込めます。アラートが急に出た場合は、最近大きくなったものが原因であることが多いです。仮想マシンのディスクイメージ(.qcow2)やスワップファイル(/swap.img)のように、もともと大きくて問題の無いファイルも混ざるので、更新日時と合わせて判断します。
ステップ4:dfとduの値が合わないときは、削除済みのファイルを疑う
$ sudo lsof +L1
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NLINK NODE NAME
java 2318 app 5w REG 252,0 8589934592 0 393811 /var/log/app/old.log (deleted)
duで合計してもdfの使用量に届かない場合、削除したのに、プロセスが開いたままのファイルが容量を使い続けている可能性があります。ログをrmで消しても、書き込んでいるプロセスがファイルを開いている間は、容量は解放されません。lsof +L1で、リンク数が0(削除済み)なのに開かれているファイルを確認できます。プロセスを再起動するか、: > /proc/2318/fd/5のように開かれているファイルを空にすると、容量が戻ります。
もう1つの原因として、マウントポイントの下に隠れたファイルがあります。たとえば、/dataに別のディスクをマウントする前に/dataへ書き込まれたファイルは、マウント後は見えなくなりますが、/ の容量を使い続けます。メンテナンスの時間に一度アンマウントして確認します。
解決方法
- 書き込み中のログが大きい場合:
rmではなくsudo truncate -s 0 ファイル名で中身だけを空にします。
残しておく必要があるなら、先にgzip -cで別の場所へ退避します。
そのうえで、ログのローテーションの設定を見直します(「ログが肥大化してディスクを圧迫している」)。 - コアダンプや一時ファイルの場合: 調査に必要でないことを確認してから削除します。
- よく容量を使う場所の定番:
journald のログ(sudo journalctl --vacuum-size=500M)、パッケージのキャッシュ(sudo apt clean)、古いカーネル(sudo apt autoremove)、Docker の不要なイメージ(docker system dfで確認してからdocker system prune)など。
容量を空けるときは、消す前に「それが何か」「誰が使っているか」を確認しましょう。
データベースのデータファイルやトランザクションログを消すと、サービスが壊れて復旧できなくなることがあります。
判断がつかないファイルは、担当者に確認してから対処します。
再発を防ぐために
アラートの閾値は、80%で警告、90%で緊急、のように2段階にしておくと、余裕を持って対応できます。使用率だけでなく、1日あたりの増え方も記録しておくと、「あと何日で満杯になるか」が分かり、計画的に対処できます。今回のようにデバッグ用のログを本番で出し続けていた場合は、ログのレベルを元に戻すことと、ローテーションの設定を追加することをセットで行いましょう。
この記事の内容を練習できる課題
同じような状況を、ブラウザの練習用ターミナルで再現して試せます。本番のサーバーで慌てないよう、手順を一度なぞっておきましょう。
- ディスク使用率のアラートから、容量を使っているファイルを突き止める(運用監視)
- ディスク使用率の詳細を確認する(運用監視)
- パッチを適用し、作業後に資材を片付ける(運用保守)
- ディスク使用量の内訳から原因を絞り込む(上級)
- ディスク使用量を確認する(中級)
- ログファイルを空にしてディスクを解放する(運用保守)
この記事に対応する課題は、全部で7問あります。残りは練習問題の一覧から選べます。