uniqコマンドの使い方:連続する重複行をまとめる
uniqは、連続して並んだ同じ内容の行を、1つにまとめるコマンドです。sortと組み合わせて、重複をなくしたり、同じ行が何回出てきたかを数えたりする用途で、ログの集計に欠かせません。
uniqの仕組みと基本の考え方
uniqは、入力を1行ずつ読み、直前の行と同じであれば出力しない、という単純な動作をします。全体を覚えておく必要がないため、巨大なファイルでも、少ないメモリで高速に処理できます。その代わり、離れた位置の重複は検出できません。
この性質から、uniqはsortと組み合わせて使うことが前提になっています。sortで同じ行を隣り合わせに集め、uniqでまとめる、という分担です。「1つのことをうまくやる小さなコマンドを、組み合わせて使う」という、Linuxの考え方をよく表している例です。
オプションで、出力の内容を切り替えられます。-cは出現回数を付け、-dは重複した行だけ、-uは重複のない行だけを出力します。-f Nで先頭のN個の列を、-s Nで先頭のN文字を、比較の対象から外すこともできます。
uniqのよく使う形
実務や学習で登場しやすい使い方を、そのまま入力できる形でまとめました。
| コマンド例 | 内容 |
|---|---|
sort file.txt | uniq | 重複する行を、1つにまとめる |
sort file.txt | uniq -c | 行ごとの出現回数を数える |
sort file.txt | uniq -d | 重複している行だけを表示する |
sort file.txt | uniq -u | 1回しか出てこない行だけを表示する |
sort file.txt | uniq -c | sort -rn | 出現回数の多い順に並べる |
sort file.txt | uniq -i | 大文字と小文字を区別せずにまとめる |
uniqの主なオプション
| オプション | 意味 |
|---|---|
-c | 出現回数を表示 |
-d | 重複行のみ表示 |
-u | 重複のない行のみ表示 |
-i | 大文字小文字を無視 |
uniqの実行例と結果の読み方
sort ips.txt | uniq -c | sort -rn を実行した結果です。表示の意味は、画面の下の「出力の読み方」で項目ごとに説明しています。
$ sort ips.txt | uniq -c | sort -rn
3 192.168.1.5
2 10.0.0.8
1 172.16.0.3
出力の読み方
| 表示・項目 | 意味 |
|---|---|
3 192.168.1.5 | 左が出現回数、右が値。アクセスの多いIPアドレスを数える定番の形 |
先に sort | uniq は隣り合った重複しかまとめないため、先に並べ替えておく |
sort -rn | 回数の多い順に並べ替える |
練習用ターミナルでは、uniqをブラウザ上で安全に試せます。
uniqの実務での使いどころ
アクセスの多いIPアドレスを集計する
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | headアクセスログの1列目(IPアドレス)を取り出し、同じものをまとめて数え、多い順に並べます。特定の接続元からの、大量のアクセスを見つける定番の方法です。
エラーメッセージの種類と、件数を把握する
grep ERROR app.log | cut -d ' ' -f 4- | sort | uniq -c | sort -rn日時の部分を取り除いて、メッセージの本文だけを集計します。どのエラーが、何件発生しているかが分かり、対応の優先順位を決められます。
uniqを組み合わせて使う実践例
ログインに失敗した接続元を集計する
sudo grep 'Failed password' /var/log/auth.log | awk '{print $(NF-3)}' | sort | uniq -c | sort -rn | headSSHのログイン失敗の記録から、接続元のIPアドレスを取り出して集計します。不正なアクセスの試行を、把握する場面で使われます。
2つの一覧の、両方にある項目を探す
sort a.txt b.txt | uniq -d2つのファイルをまとめて並べ替え、重複した行だけを表示します。それぞれのファイル内に重複がない場合、両方に含まれる項目が分かります。
似たコマンドとの違い・使い分け
重複をなくすだけなら、sort -uが1つのコマンドで済みます。回数を数えたい、重複だけを取り出したい、という場合はsort | uniqを使います。元の順番を保ちたい場合や、特定の列だけで判定したい場合は、awkが向いています。
実際の出力を並べると、違いがつかみやすくなります。
・sort
行を並び替える。
$ sort -u ips.txt
10.0.0.8
172.16.0.3
192.168.1.5
uniqを使うときの注意点
uniqがまとめるのは、隣り合った同じ行だけです。離れた位置にある同じ行は、別のものとして扱われます。そのため、先にsortで並べ替えてから使うのが基本です。
単に重複をなくすだけなら、sort -uでも同じ結果になります。回数を数える(-c)、重複だけを取り出す(-d)といった場合に、uniqが必要になります。
uniqでよくある失敗と対処
sortをせずに使い、重複が残った
uniqは、隣り合った行しか比較しません。必ず、sortを先に通します。
日時を含む行を、そのまま集計しようとした
行の中に、時刻のように毎回変わる部分があると、すべて別の行として扱われます。cutやawkで、集計したい部分だけを取り出してから数えます。
uniqで困ったときの症状別チェック
実際の現場で出会いやすい症状を、原因の見当と確認方法とあわせて、逆引きできる形にまとめました。
| 症状 | 考えられる原因 | 確認・対処 |
|---|---|---|
| 重複が消えない | 同じ行が、隣り合っていない | sortを先に通します。 |
| 同じに見える行が、別のものとして数えられる | 行末の空白や、改行コードが異なっている | cat -Aで、行末を確認します。sed 's/[[:space:]]*$//'で、行末の空白を取り除けます。 |
| 大文字と小文字の違いで、別々に数えられる | 既定では、大文字と小文字を区別する | -iを付けます。sortにも-fを付けて、並び順をそろえます。 |
| 回数の順に、正しく並ばない | 最後のsortで、数値として比較していない | sort -rnのように、-nを付けます。 |
uniqを手を動かして試す
sortなしでは重複が残ること、sortを通すとまとまることを比べます。続いて、回数の表示、多い順の並べ替え、重複だけ・重複なしだけの表示を試します。
printf 'apple\nbanana\napple\ncherry\nbanana\napple\n' > u.txt
uniq u.txt
sort u.txt | uniq
sort u.txt | uniq -c
sort u.txt | uniq -c | sort -rn
sort u.txt | uniq -d
sort u.txt | uniq -u
安全に練習したいときは、練習用ターミナルでも同じ操作を試せます。
uniqを使う練習課題
ブラウザで動く練習用ターミナルに、uniqを実際に打って進める課題があります。リンクを開くと、その課題がすぐに始まります。
- アクセスの多いIPアドレスを集計する(中級)
- ステータスコードの内訳を集計する(中級)
- 連続した重複行をまとめる(中級)
- アクセスの多いリクエストメソッドを集計する(上級)
- SSHへの不正ログイン試行を調べる(運用監視)
uniqに関するよくある質問
uniqを使っても、重複が消えません
同じ行が、隣り合っていないためです。sort ファイル | uniqのように、先に並べ替えます。
同じ行が、何回出てくるかを数えるには?
sort ファイル | uniq -cを使います。各行の先頭に、出現回数が表示されます。
出現回数の多い順に並べるには?
sort ファイル | uniq -c | sort -rnとします。最後のsort -rnで、回数の数値が大きい順に並べ替えます。
重複している行だけを、取り出すには?
sort ファイル | uniq -dを使います。2回以上出てくる行が、1行ずつ表示されます。
元の並び順を保ったまま、重複をなくすには?
uniqでは、並べ替えが必要になるため、順番が変わります。awk '!seen[$0]++' ファイルを使うと、最初に出てきた順番のまま、重複をなくせます。
uniqのまとめ
sort | uniq -c | sort -rnは、ログの集計の定番です。uniqの前には、必ずsortを置きましょう。
関連ページ
あわせて覚えたいコマンド:sort・wc・cut・awk・grep
「テキスト表示・処理」のコマンド解説:cat・less・tail・grep・sed・awk・head・wc・sort・cut・vi・tr
uniqが登場する章:中級 第7章
コマンドをまとめて自動化したいときは、Linuxシェルスクリプト入門も参考にしてください。