障害の一次対応で最初に確認すること|初動のコマンドと報告の型

障害の一次対応で最初にやることは、原因を突き止めることではなく、「いま何が起きているか」を事実として確認し、記録して、共有することです。確認する順番を決めておけば、慌てている場面でも、同じ手順で状況を把握できます。原因の特定と復旧の判断は、その事実をもとに行います。

最初の3分でやること

  1. 時刻を記録する:
    アラートを受けた時刻、確認を始めた時刻を控えます。
    以降の対応も、時刻とともに記録します。
  2. 事象を確認する:
    何が、いつから、どうなっているのか。
    アラートの内容や、利用者からの報告を、そのままの言葉で記録します。
  3. 影響の範囲を確認する: サービス全体が止まっているのか、一部の機能だけか、特定のサーバーだけか。
  4. 現場のルールに従って、連絡する:
    エスカレーションの基準に当てはまる場合は、原因が分かっていなくても、まず第一報を入れます。

一次対応でよくある失敗は、原因を調べることに集中して、連絡が遅れることです。「分かっていること」と「まだ分かっていないこと」を分けて伝えれば、原因が不明の段階でも、報告として成り立ちます。

サーバーに入って、最初に確認するコマンド

確認は、「全体の状態 → 対象のサービス → ログ → 外から見た状態」の順に進めます。どれも、サーバーの状態を変えない、表示だけのコマンドです。

1. リソースの状態

$ date; hostname                     # 時刻と、接続先の確認
$ uptime                             # 再起動していないか、ロードアベレージは高くないか
$ df -h                              # ディスクが100%になっていないか
$ df -i                              # inodeが枯渇していないか
$ free -h                            # メモリとスワップの状況

uptimeの稼働時間が極端に短ければ、サーバーが再起動しています。ディスクの使用率が100%になっていると、ログの書き込みやサービスの起動に失敗するため、多くの障害の原因になります。

2. サービスとプロセスの状態

$ systemctl --failed --no-pager      # 起動に失敗しているサービス
$ systemctl status nginx --no-pager  # 対象のサービスの状態と、直近のログ
$ ps aux --sort=-%cpu | head -n 6    # CPUを使っているプロセス
$ ps aux --sort=-%mem | head -n 6    # メモリを使っているプロセス

systemctl statusでは、Active:の行で、現在の状態と、その状態になった時刻を確認します。「いつから」が分かると、ログを調べる時間帯を絞り込めます。

3. ログ

$ sudo journalctl -p err --since '30 min ago' --no-pager   # 直近30分のエラー
$ sudo journalctl -u nginx --since '30 min ago' --no-pager  # 対象のサービスのログ
$ sudo dmesg -T | tail -n 30                                # カーネルのメッセージ(メモリ不足・ディスクの異常など)
$ sudo tail -n 50 /var/log/nginx/error.log                  # アプリケーションのログ

ログは、事象が発生した時刻の少し前から読みます。エラーの行だけを探すのではなく、その直前に何が記録されているかを見ると、きっかけが分かることがあります。

4. ネットワークと、外から見た状態

$ sudo ss -tlnp                      # サービスが、ポートで待ち受けているか
$ curl -I http://localhost/          # サーバーの中からは、応答するか
$ ip -br addr; ip route              # IPアドレスと経路

サーバーの中からは応答するのに、外からは接続できない場合は、サーバーの手前(ロードバランサー、ファイアウォール、ネットワーク)に原因がある可能性が高くなります。「どこまでは正常か」を確認することが、切り分けの基本です。

一次対応で、やってはいけないこと

注意:
次の操作は、状況を悪化させたり、原因の調査に必要な情報を消したりする恐れがあります。
手順書に定められている場合や、責任者の指示がある場合を除き、自分の判断では行わないようにします。
  • 確認せずに再起動する:
    サーバーやサービスを再起動すると、メモリ上の情報や、その時点の状態が失われます。
    再起動で直ったとしても、原因が分からなければ、再発を防げません。
    再起動する場合も、その前に、上の確認結果を記録します。
  • ログを削除する:
    ディスクの空きを作るために、ログを消したくなる場面があります。
    しかし、そのログが、原因を示す唯一の手がかりであることもあります。
    削除ではなく、別の場所への退避や圧縮を検討します。
  • 手順書にない設定変更を行う:
    その場の判断での変更は、別の不具合の原因になります。
    変更が必要だと考えた場合は、内容を伝えて、判断を仰ぎます。
  • 推測を、事実として報告する:
    「たぶん◯◯が原因です」という報告は、対応の方向を誤らせます。
    確認できた事実と、推測は、分けて伝えます。

第一報の型

第一報は、正確さよりも、早さが優先されます。次の項目を、分かっている範囲で埋めて送ります。分かっていない項目は、「確認中」と書きます。

【障害第一報】
発生日時:2026/11/14 10:05 ごろ(アラート受信 10:07)
対象  :web01(本番・Webサーバー)
事象  :Webサイトが表示されない(HTTP 502)
影響範囲:サイト全体。利用者からの問い合わせは、現時点でなし
現在の状況:nginxは稼働中。アプリケーションのプロセスが停止していることを確認
原因  :確認中
対応状況:ログを確認中。10:30に、次の報告を行います
報告者 :◯◯

最後に、「次に、いつ報告するか」を書いておくことが大切です。受け取った側は、次の連絡を待てばよいのか、自分から動くべきかを、判断できるようになります。

対応の記録を残す

対応中は、時刻とともに、「確認したこと」「分かったこと」「実施したこと」を、短く書き留めていきます。

10:07 アラート受信(web01 HTTP監視 異常)
10:09 web01へログイン。uptime・df・free に異常なし
10:11 systemctl status app → failed(10:05に停止)を確認
10:13 journalctl -u app で「Out of memory」を確認
10:15 第一報を送信
10:20 責任者の指示により、appを再起動。10:21 復旧を確認

この記録は、あとで報告書を書くときの材料になります。対応が長引いて、別の担当者へ引き継ぐ場合にも、状況をそのまま渡せます。記憶に頼らず、その場で書くことが大切です。

よくある質問

原因が分からないまま、報告してもよいのですか?

かまいません。第一報の目的は、障害が起きていることを、早く共有することです。原因は「確認中」と書き、分かっている事実と、次に報告する時刻を伝えます。

再起動すれば直ると分かっている場合は、すぐに再起動してよいですか?

現場のルールと手順書に従います。再起動が定められた対応であっても、その前に、状態の確認と記録を行っておくと、あとの原因調査に役立ちます。

どこまでが、一次対応の範囲ですか?

現場によって異なりますが、一般的には、事象の確認、影響の把握、定められた手順での対応、連絡までを指します。手順書にない対応や、判断が必要な対応は、次の担当へ引き継ぎます。

確認するコマンドを、覚えられません

覚える必要はありません。確認する順番とコマンドを、自分用の一覧にして、すぐ見られる場所に置いておきます。障害のときほど、手順を見ながら進めるほうが、確実です。

この記事を書いた人:
こすけ(コマンド学習道場 運営者)。
AWSの運用保守に携わるエンジニアで、保有資格はCCNA・AWS-SAA・LPIC-3(305)。
詳しくは運営者情報をご覧ください。

← 現場ガイドの一覧へ戻る