Argument list too longの原因と対処法|rm・cp・mvで大量のファイルを扱う
Argument list too longは、「コマンドに渡す引数の合計が、システムの上限を超えた」ことを意味します。rm *のようにワイルドカードを使うと、シェルが該当するファイル名をすべて並べてからコマンドに渡すため、ファイルが数万個あると上限を超えます。findやxargsを使い、ファイル名を一度に渡さない方法で対処します。
このエラーが表示される例
$ rm /var/log/app/*.log
-bash: /usr/bin/rm: Argument list too long
「Argument list too long」の意味
rm *.logと入力すると、シェルは*.logを、該当するファイル名の一覧に置き換えてから、rmを起動します。rmが受け取るのは、rm a.log b.log c.log …という、展開されたあとの長いコマンドラインです。
Linuxでは、1つのコマンドに渡せる引数と環境変数の合計サイズに、上限があります。ファイルが大量にあると、展開した結果がこの上限を超え、コマンドを起動できません。エラーを出しているのはrmではなく、コマンドを起動しようとしたシェルとカーネルです。そのため、cp・mv・ls・grepなど、どのコマンドでも同じように発生します。
原因を切り分ける手順
ステップ1:対象のファイルが、何個あるかを確認する
$ find /var/log/app -maxdepth 1 -name '*.log' | wc -lls *.log | wc -lは、同じ理由で失敗します。findは、ファイル名を引数として受け取らず、自分でディレクトリを調べるため、ファイルが大量にあっても動作します。
ステップ2:上限の値を確認する
$ getconf ARG_MAX引数と環境変数の合計サイズの上限が、バイト単位で表示されます。この値は目安で、通常は変更せずに、渡し方を変えて対処します。
ステップ3:対象を、先に画面で確認する
$ find /var/log/app -maxdepth 1 -name '*.log' -mtime +30 | head削除や移動の前に、条件に合うファイルを表示して、意図したものだけが対象になっているかを確かめます。
原因別の対処法
findの-deleteで削除する
find /var/log/app -maxdepth 1 -name '*.log' -deleteと書くと、findが見つけたファイルを、そのまま削除します。パターンは、シェルに展開されないよう、必ず引用符で囲みます。-maxdepth 1を付けないと、サブディレクトリの中も対象になる点に注意します。
findの-execで、別のコマンドを実行する
find . -maxdepth 1 -name '*.log' -exec mv -t /backup/ {} +のように書くと、findが、上限を超えない数にファイルを分けて、コマンドを複数回実行します。移動やコピー、圧縮に使えます。
xargsに渡す
find . -maxdepth 1 -name '*.log' -print0 | xargs -0 rmも、同じように、上限を超えない範囲に分けて実行します。-print0と-0を組み合わせると、スペースを含むファイル名も、正しく扱えます。
ディレクトリごと削除して、作り直す
中身をすべて削除してよい場合は、rm -r ディレクトリでディレクトリごと削除し、mkdirで作り直す方法もあります。ディレクトリ名を1つ渡すだけなので、上限には当たりません。作り直したあとは、所有者と権限を元の状態に合わせます。
find … -deleteは、条件に合うものを確認なしで削除します。-deleteを付ける前に、同じ条件で一覧を表示して、対象を必ず確認してください。条件を書く前に
-deleteを置くと、意図しない範囲が削除されるため、-deleteは必ず最後に書きます。再発を防ぐために
1つのディレクトリにファイルが大量に溜まること自体が、問題の原因です。ログはlogrotateで世代を管理し、一時ファイルはfind … -mtime +日数 -deleteをcronで定期的に実行して、古いものを整理します。日付ごとのサブディレクトリに分けて保存する設計にすると、1か所に集中するのを防げます。
よくある質問
rmが原因のエラーですか?
いいえ。シェルがワイルドカードを展開した結果が長すぎて、コマンドを起動できない、というエラーです。cpやmv、lsでも、同じ条件で発生します。
上限を引き上げることはできますか?
スタックサイズの制限(ulimit -s)を変更すると上限は変わりますが、根本的な解決にはなりません。findやxargsで、渡し方を変えるのが確実です。
forループで処理する方法は使えますか?
for f in *.log; do rm "$f"; doneは、シェルの中で展開されるだけで、コマンドの引数にはならないため、動作します。ただし、1ファイルごとにコマンドを起動するため、find -deleteより時間がかかります。
ほかのエラーメッセージを調べる
Connection refusedConnection timed outTemporary failure in name resolutionREMOTE HOST IDENTIFICATION HAS CHANGEDbad interpreter: No such file or directoryToo many open filesAddress already in useRead-only file systemOperation not permittedis not in the sudoers fileKilled(Out of memory)No space left on devicecommand not foundPermission denied (publickey)Device or resource busyText file busyNo such file or directoryJob for xxx.service failed because the control process exited with error codeCould not get lock /var/lib/dpkg/lock-frontendsudo: unable to resolve hostSegmentation fault (core dumped)