uniqコマンドの使い方:連続する重複行をまとめる

uniqは、連続して並んだ同じ内容の行を、1つにまとめるコマンドです。sortと組み合わせて、重複をなくしたり、同じ行が何回出てきたかを数えたりする用途で、ログの集計に欠かせません。

uniqの仕組みと基本の考え方

uniqは、入力を1行ずつ読み、直前の行と同じであれば出力しない、という単純な動作をします。全体を覚えておく必要がないため、巨大なファイルでも、少ないメモリで高速に処理できます。その代わり、離れた位置の重複は検出できません。

この性質から、uniqはsortと組み合わせて使うことが前提になっています。sortで同じ行を隣り合わせに集め、uniqでまとめる、という分担です。「1つのことをうまくやる小さなコマンドを、組み合わせて使う」という、Linuxの考え方をよく表している例です。

オプションで、出力の内容を切り替えられます。-cは出現回数を付け、-dは重複した行だけ、-uは重複のない行だけを出力します。-f Nで先頭のN個の列を、-s Nで先頭のN文字を、比較の対象から外すこともできます。

uniqのよく使う形

実務や学習で登場しやすい使い方を、そのまま入力できる形でまとめました。

コマンド例内容
sort file.txt | uniq重複する行を、1つにまとめる
sort file.txt | uniq -c行ごとの出現回数を数える
sort file.txt | uniq -d重複している行だけを表示する
sort file.txt | uniq -u1回しか出てこない行だけを表示する
sort file.txt | uniq -c | sort -rn出現回数の多い順に並べる
sort file.txt | uniq -i大文字と小文字を区別せずにまとめる

uniqの主なオプション

オプション意味
-c出現回数を表示
-d重複行のみ表示
-u重複のない行のみ表示
-i大文字小文字を無視

uniqの実行例と結果の読み方

sort ips.txt | uniq -c | sort -rn を実行した結果です。表示の意味は、画面の下の「出力の読み方」で項目ごとに説明しています。

$ sort ips.txt | uniq -c | sort -rn
      3 192.168.1.5
      2 10.0.0.8
      1 172.16.0.3

出力の読み方

表示・項目意味
3 192.168.1.5左が出現回数、右が値。アクセスの多いIPアドレスを数える定番の形
先に sortuniq は隣り合った重複しかまとめないため、先に並べ替えておく
sort -rn回数の多い順に並べ替える

練習用ターミナルでは、uniqをブラウザ上で安全に試せます。

uniqの実務での使いどころ

アクセスの多いIPアドレスを集計する

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head

アクセスログの1列目(IPアドレス)を取り出し、同じものをまとめて数え、多い順に並べます。特定の接続元からの、大量のアクセスを見つける定番の方法です。

エラーメッセージの種類と、件数を把握する

grep ERROR app.log | cut -d ' ' -f 4- | sort | uniq -c | sort -rn

日時の部分を取り除いて、メッセージの本文だけを集計します。どのエラーが、何件発生しているかが分かり、対応の優先順位を決められます。

uniqを組み合わせて使う実践例

ログインに失敗した接続元を集計する

sudo grep 'Failed password' /var/log/auth.log | awk '{print $(NF-3)}' | sort | uniq -c | sort -rn | head

SSHのログイン失敗の記録から、接続元のIPアドレスを取り出して集計します。不正なアクセスの試行を、把握する場面で使われます。

2つの一覧の、両方にある項目を探す

sort a.txt b.txt | uniq -d

2つのファイルをまとめて並べ替え、重複した行だけを表示します。それぞれのファイル内に重複がない場合、両方に含まれる項目が分かります。

似たコマンドとの違い・使い分け

重複をなくすだけなら、sort -uが1つのコマンドで済みます。回数を数えたい、重複だけを取り出したい、という場合はsort | uniqを使います。元の順番を保ちたい場合や、特定の列だけで判定したい場合は、awkが向いています。

実際の出力を並べると、違いがつかみやすくなります。

・sort

行を並び替える。

$ sort -u ips.txt
10.0.0.8
172.16.0.3
192.168.1.5

uniqを使うときの注意点

uniqがまとめるのは、隣り合った同じ行だけです。離れた位置にある同じ行は、別のものとして扱われます。そのため、先にsortで並べ替えてから使うのが基本です。

単に重複をなくすだけなら、sort -uでも同じ結果になります。回数を数える(-c)、重複だけを取り出す(-d)といった場合に、uniqが必要になります。

uniqでよくある失敗と対処

sortをせずに使い、重複が残った

uniqは、隣り合った行しか比較しません。必ず、sortを先に通します。

日時を含む行を、そのまま集計しようとした

行の中に、時刻のように毎回変わる部分があると、すべて別の行として扱われます。cutやawkで、集計したい部分だけを取り出してから数えます。

uniqで困ったときの症状別チェック

実際の現場で出会いやすい症状を、原因の見当と確認方法とあわせて、逆引きできる形にまとめました。

症状考えられる原因確認・対処
重複が消えない同じ行が、隣り合っていないsortを先に通します。
同じに見える行が、別のものとして数えられる行末の空白や、改行コードが異なっているcat -Aで、行末を確認します。sed 's/[[:space:]]*$//'で、行末の空白を取り除けます。
大文字と小文字の違いで、別々に数えられる既定では、大文字と小文字を区別する-iを付けます。sortにも-fを付けて、並び順をそろえます。
回数の順に、正しく並ばない最後のsortで、数値として比較していないsort -rnのように、-nを付けます。

uniqを手を動かして試す

sortなしでは重複が残ること、sortを通すとまとまることを比べます。続いて、回数の表示、多い順の並べ替え、重複だけ・重複なしだけの表示を試します。

printf 'apple\nbanana\napple\ncherry\nbanana\napple\n' > u.txt
uniq u.txt
sort u.txt | uniq
sort u.txt | uniq -c
sort u.txt | uniq -c | sort -rn
sort u.txt | uniq -d
sort u.txt | uniq -u

安全に練習したいときは、練習用ターミナルでも同じ操作を試せます。

uniqを使う練習課題

ブラウザで動く練習用ターミナルに、uniqを実際に打って進める課題があります。リンクを開くと、その課題がすぐに始まります。

uniqに関するよくある質問

uniqを使っても、重複が消えません

同じ行が、隣り合っていないためです。sort ファイル | uniqのように、先に並べ替えます。

同じ行が、何回出てくるかを数えるには?

sort ファイル | uniq -cを使います。各行の先頭に、出現回数が表示されます。

出現回数の多い順に並べるには?

sort ファイル | uniq -c | sort -rnとします。最後のsort -rnで、回数の数値が大きい順に並べ替えます。

重複している行だけを、取り出すには?

sort ファイル | uniq -dを使います。2回以上出てくる行が、1行ずつ表示されます。

元の並び順を保ったまま、重複をなくすには?

uniqでは、並べ替えが必要になるため、順番が変わります。awk '!seen[$0]++' ファイルを使うと、最初に出てきた順番のまま、重複をなくせます。

uniqのまとめ

sort | uniq -c | sort -rnは、ログの集計の定番です。uniqの前には、必ずsortを置きましょう。

関連ページ

あわせて覚えたいコマンド:sort・wc・cut・awk・grep

「テキスト表示・処理」のコマンド解説:cat・less・tail・grep・sed・awk・head・wc・sort・cut・vi・tr

uniqが登場する章:中級 第7章

コマンドをまとめて自動化したいときは、Linuxシェルスクリプト入門も参考にしてください。

← Linuxコマンド一覧へ戻る