正規表現チェッカー:grepの書き方でマッチ結果をその場で確認
正規表現と、検索したいテキストを入力すると、マッチした箇所をハイライト表示するツールです。grep -Eで使う書き方(拡張正規表現)を想定しており、実際にログを検索する前に、パターンが意図どおりかを確かめられます。
結果:
同じ検索をするコマンド:
このツールはブラウザの中だけで動作し、入力した内容がサーバーへ送信されることはありません。判定にはブラウザの正規表現の仕組みを使っているため、一部の細かな挙動は、実際のgrepと異なる場合があります。
正規表現とは
正規表現は、文字の並びのパターンを、記号を組み合わせて表す書き方です。たとえば「ERRORまたはWARNを含む行」はERROR|WARN、「行頭が日付の形式になっている行」は^[0-9]{4}-[0-9]{2}-[0-9]{2}のように書けます。
Linuxでは、grepでの検索、sedでの置換、awkでの条件の指定など、テキストを扱うほとんどの場面で使われます。大量のログから必要な行だけを取り出す作業は、正規表現が書けるかどうかで、かかる時間が大きく変わります。
正規表現の基本の記号
| 記号 | 意味 | 例 |
|---|---|---|
. | 任意の1文字 | a.c → abc、a1c |
* | 直前の文字の0回以上の繰り返し | ab*c → ac、abc、abbc |
+ | 直前の文字の1回以上の繰り返し | ab+c → abc、abbc |
? | 直前の文字が0回または1回 | https? → http、https |
{n,m} | 直前の文字のn回以上m回以下の繰り返し | [0-9]{1,3} → 1〜3桁の数字 |
^ | 行の先頭 | ^# → #で始まる行 |
$ | 行の末尾 | ;$ → ;で終わる行 |
[abc] | かっこ内のいずれか1文字 | [45] → 4または5 |
[^abc] | かっこ内の文字以外の1文字 | [^0-9] → 数字以外 |
[a-z] | 範囲内のいずれか1文字 | [A-Za-z] → 英字 |
| | または | ERROR|WARN |
( ) | グループ化 | (ab)+ → ab、abab |
\ | 直後の記号を、ただの文字として扱う | \. → ドットそのもの |
行の先頭を表す^は、[ ]の中の先頭に置くと「〜以外」という否定の意味に変わります。同じ記号でも、置かれる場所によって意味が変わる点は、最初に混乱しやすいところです。
POSIX文字クラス
[ ]の中では、文字の種類を名前で指定するPOSIX文字クラスが使えます。[[:digit:]]のように、かっこが二重になる点に注意してください。
| 書き方 | 意味 | 同じ意味の書き方 |
|---|---|---|
[[:digit:]] | 数字 | [0-9] |
[[:alpha:]] | 英字 | [A-Za-z] |
[[:alnum:]] | 英数字 | [A-Za-z0-9] |
[[:upper:]] | 英大文字 | [A-Z] |
[[:lower:]] | 英小文字 | [a-z] |
[[:space:]] | 空白文字(スペース・タブなど) | — |
grepでの使い方:基本正規表現と拡張正規表現
grepには、正規表現の解釈の方式が複数あり、オプションで切り替えます。
| コマンド | 方式 | 特徴 |
|---|---|---|
grep | 基本正規表現(BRE) | +・?・|・( )・{ }は、バックスラッシュを付けたときだけ特別な意味になる |
grep -E | 拡張正規表現(ERE) | 上の記号を、そのまま書ける。読みやすく、最初に覚えるのに向いている |
grep -P | Perl互換(GNU版のみ) | \dや、最短マッチなどが使える |
grep -F | 固定文字列 | 正規表現として解釈せず、書いた文字のまま検索する |
$ grep -E 'ERROR|WARN' app.log # ERRORまたはWARNを含む行
$ grep 'ERROR\|WARN' app.log # 同じ検索を、基本正規表現で書いた場合
$ grep -E '^[0-9]{4}-[0-9]{2}-[0-9]{2}' app.log # 行頭が日付の行
$ grep -cE ' (4|5)[0-9]{2} ' access.log # 400・500番台の行数を数える
$ grep -vE '^#|^$' sshd_config # コメント行と空行を除いて表示
パターンを引用符で囲まずに書くと、
*や|、$がシェルに先に解釈されてしまいます。正規表現は、シングルクォートで囲んで
grep -E 'パターン' ファイルの形で書く習慣を付けましょう。よく使うパターン集
| 探したいもの | パターン(grep -E) |
|---|---|
| IPv4アドレスらしき文字列 | [0-9]{1,3}(\.[0-9]{1,3}){3} |
| 日付(YYYY-MM-DD) | [0-9]{4}-[0-9]{2}-[0-9]{2} |
| 時刻(HH:MM:SS) | [0-9]{2}:[0-9]{2}:[0-9]{2} |
| 空行 | ^$ |
| 空白だけの行も含む空行 | ^[[:space:]]*$ |
| コメント行(#で始まる行) | ^[[:space:]]*# |
| 特定の拡張子で終わる行 | \.(log|txt)$ |
| HTTPステータスが500番台 | " 5[0-9]{2} |
| メールアドレスらしき文字列 | [[:alnum:]._-]+@[[:alnum:].-]+ |
ここに挙げたのは、ログの調査で「それらしい文字列を拾う」ための簡易的なパターンです。IPアドレスの各部分が255以下か、メールアドレスとして厳密に正しいか、といった検証までは行いません。用途に応じて、必要な厳密さを見極めることが大切です。
sed・awkでの使い方
$ sed -E 's/[0-9]{1,3}(\.[0-9]{1,3}){3}/x.x.x.x/g' access.log # IPアドレスを伏せ字に置き換える
$ sed -E '/^[[:space:]]*(#|$)/d' nginx.conf # コメント行と空行を削除して表示
$ awk '/ERROR/ {print $1, $2}' app.log # ERRORを含む行の、1列目と2列目を表示
$ awk '$9 ~ /^5[0-9][0-9]$/' access.log # 9列目が500番台の行を表示
sedも、-Eを付けると拡張正規表現が使えます。awkでは、パターンを/ /で囲み、~を使うと「特定の列がパターンにマッチするか」を条件にできます。
つまずきやすいポイント
ドットや記号のエスケープを忘れる
.は任意の1文字にマッチするため、example.comと書くとexampleXcomにもマッチします。文字としての記号を探すときは、example\.comのように、バックスラッシュを付けます。
grepとgrep -Eの書き方を混同する
オプションなしのgrepでERROR|WARNと書くと、「ERROR|WARNという文字列そのもの」を探してしまいます。|や+を使うときは、-Eを付けるのが簡単です。
マッチする範囲が広すぎる
".*"は、行の中の最初の"から最後の"までを、まとめてマッチさせます。1つずつ区切りたいときは、"[^"]*"のように、「区切り文字以外の繰り返し」として書きます。
正規表現の基礎は中級のテキストフィルタの章で詳しく扱っています。
コマンドの使い方はgrepコマンドの使い方・sedコマンドの使い方・awkコマンドの使い方、ログの調べ方は「Linuxのログを確認する方法」も参考にしてください。
練習用ターミナルでは、実際に
grepを実行して試せます。正規表現に関するよくある質問
正規表現とは何ですか?
文字の並びのパターンを、記号を使って表す書き方です。「数字が3つ続く」「行頭がERRORで始まる」といった条件を1つの式で書けるため、ログの検索や、文字列の置換に広く使われています。
grepとgrep -Eの違いは?
オプションなしのgrepは基本正規表現(BRE)で、+・?・|・( )を特別な意味で使うには、\+のようにバックスラッシュが必要です。grep -Eは拡張正規表現(ERE)で、これらをそのまま書けます。迷ったらgrep -Eを使うと、書き方が分かりやすくなります。
\dがgrepで使えないのはなぜですか?
\dは、Perl系の正規表現の書き方で、grepやgrep -Eでは使えません。代わりに[0-9]か[[:digit:]]と書きます。GNU版のgrepでは、-Pを付けると\dが使えます。
ドット(.)そのものを検索するには?
.は「任意の1文字」を表す記号なので、文字としてのドットを探すときは、\.とバックスラッシュを付けます。192.168.1.1をそのまま書くと、192x168y1z1のような文字列にもマッチしてしまいます。
記号を含む文字列を、正規表現として解釈させずに検索するには?
grep -Fを使うと、パターンを正規表現ではなく、ただの文字列として検索します。[や*などを含むログのメッセージを、そのまま探したいときに便利です。
.*で、思ったより長い範囲がマッチするのはなぜですか?
*や+は、できるだけ長くマッチしようとする性質(貪欲マッチ)を持つためです。範囲を絞りたいときは、[^"]*のように「区切り文字以外の繰り返し」として書くと、意図した範囲で止まります。