No space left on deviceの原因と対処法|容量とinodeの確認
No space left on deviceは、「書き込み先のファイルシステムに空きが無い」ことを意味します。原因は、容量が尽きている場合と、ファイルの数を管理するinodeが尽きている場合の2通りです。df -hとdf -iで、どちらかを最初に確認しましょう。
このエラーが表示される例
cp: error writing '/var/tmp/backup.tar.gz': No space left on device
write /var/lib/docker/tmp/...: no space left on device
「No space left on device」の意味
ファイルを作る・書き込むときに、ディスクの空きが足りないと、カーネルがこのエラーを返します。ログを書けなくなったアプリケーションが止まったり、データベースが書き込みに失敗したりと、放っておくとサービスの障害につながります。
df -hで空きがあるのにこのエラーが出る場合は、inodeの枯渇を疑います。小さなファイルが大量に作られると、容量に余裕があってもファイルを新しく作れなくなります。
原因を切り分ける手順
ステップ1:容量とinodeのどちらが尽きているかを確認する
$ df -h /
$ df -i /Use%が100%なら容量、IUse%が100%ならinodeの不足です。エラーに出ているパスが、どのファイルシステムに属しているかも確認します。
ステップ2:容量を使っている場所を特定する
$ sudo du -xh --max-depth=1 / 2>/dev/null | sort -rh | head
$ sudo find / -xdev -type f -size +500M 2>/dev/null大きいディレクトリを1階層ずつたどるか、大きなファイルを直接探します。
ステップ3:ファイルの数が多い場所を特定する(inodeの場合)
$ sudo find / -xdev -type f 2>/dev/null | cut -d/ -f2-3 | sort | uniq -c | sort -rn | headファイルの数が多いディレクトリを集計します。セッションファイルやキャッシュ、メールの待ち行列などがよくある原因です。
ステップ4:削除したのに空かない場合は、開かれたままのファイルを探す
$ sudo lsof +L1 | head削除済みでも、プロセスが開いている間は容量が解放されません。
原因別の対処法
古いログやバックアップを整理する
不要なことを確認してから削除します。書き込み中のログはrmではなくsudo truncate -s 0 ファイル名で中身を空にします。
パッケージやジャーナルのキャッシュを減らす
sudo apt clean、sudo journalctl --vacuum-size=500M、docker system prune(中身を確認してから)などで、再取得できるデータを減らします。
削除済みのファイルを解放する
lsof +L1で見つかったプロセスを再起動すると、容量が解放されます。
inodeが尽きている場合は、小さなファイルをまとめて消す
原因のディレクトリで、不要なファイルをfind ディレクトリ -type f -mtime +7 -deleteのように条件を付けて削除します。
容量を空けたいからといって、内容の分からないファイルを削除してはいけません。
データベースのデータファイルやトランザクションログを消すと、サービスが壊れて戻せなくなることがあります。
判断がつかないものは、担当者に確認してから対処しましょう。
再発を防ぐために
ディスク使用率とinodeの使用率を監視し、80%で警告、90%で緊急のように段階的に通知します。ログのローテーション(logrotate)の設定と、作業で使った資材の削除を習慣にすると、再発をかなり防げます。
よくある質問
df -h では空いているのにエラーになります
inodeが尽きているか、エラーのパスが別のファイルシステム(/tmpや/varが別パーティションなど)です。df -iと、パスを指定したdf -h パスで確認します。
rootなら書き込めるのに、一般ユーザーだとこのエラーになります
ext4は、容量の一部(既定で5%)をroot用に予約しています。一般ユーザーにとっては、すでに満杯の状態です。
容量を空けたのに、アプリケーションが復旧しません
書き込みに失敗した状態のまま止まっていることがあります。ログを確認し、必要ならサービスを再起動します。
ほかのエラーメッセージを調べる
Connection refusedConnection timed outTemporary failure in name resolutionREMOTE HOST IDENTIFICATION HAS CHANGEDbad interpreter: No such file or directoryArgument list too longToo many open filesAddress already in useRead-only file systemOperation not permittedis not in the sudoers fileKilled(Out of memory)command not foundPermission denied (publickey)Device or resource busyText file busyNo such file or directoryJob for xxx.service failed because the control process exited with error codeCould not get lock /var/lib/dpkg/lock-frontendsudo: unable to resolve hostSegmentation fault (core dumped)