第2章 コンテナ仮想化の仕組み:名前空間とcgroup
LPIC-3 305(352.1)相当
Dockerの操作に慣れてくると、「コンテナとは結局何なのか」が気になってきます。この章では、コンテナを支えるLinuxカーネルの2つの機能、名前空間とcgroupを、実際のコマンドで確かめながら理解します。
コンテナの正体は「隔離されたプロセス」
仮想マシンは、ハードウェアを仮想化してゲストOSを丸ごと起動します。これに対してコンテナは、ホストのLinuxカーネルを共有したまま、プロセスに「自分専用の環境にいるかのような見え方」を与える仕組みです。言い換えると、コンテナの中で動くプログラムは、ホストから見れば普通のプロセスの1つにすぎません。
実際に、nginxのコンテナを起動してから、ホスト側でpsを実行してみましょう。コンテナの中のnginxが、ホストのプロセスとして表示されます。
$ sudo docker run -d --name web nginx
$ ps -ef | grep "nginx: master" | grep -v grep
root 1023 1 0 Nov12 ? 00:00:00 nginx: master process /usr/sbin/nginx -g daemon on; master_process on;
root 4740 3900 0 13:16 ? 00:00:00 nginx: master process nginx -g daemon off;
$ sudo docker inspect -f '{{.State.Pid}}' web # コンテナのメインプロセスの、ホスト上でのPID
4740
1行目はホストに直接インストールされたnginx、2行目がコンテナの中のnginxです。PID 4740のプロセスの親(PPID 3900)は、containerd-shim-runc-v2というプロセスです。このように、コンテナは「特別な見え方をするプロセス」として、ホストのカーネルの上で動いています。
名前空間:見える範囲を分ける
名前空間(namespace)は、プロセスから見えるシステムの資源を、グループごとに分ける機能です。同じ名前空間に属するプロセス同士は同じものが見え、別の名前空間のプロセスからは見えません。Linuxには、次の8種類があります。
| 種類 | 分けるもの | コンテナでの効果 |
|---|---|---|
mnt | マウントポイント | コンテナ専用のファイルシステム(ルートディレクトリ)を見せる |
uts | ホスト名・ドメイン名 | コンテナごとに別のホスト名を持てる |
ipc | System V IPC・POSIXメッセージキュー | 共有メモリなどをほかのコンテナと分ける |
pid | プロセスID | コンテナの中では、自分のプロセスだけが見え、最初のプロセスがPID 1になる |
net | ネットワーク(インターフェース・ルーティング・ポート) | コンテナごとに別のIPアドレスとポートを持てる |
user | ユーザーID・グループID | コンテナの中のrootを、ホストでは一般ユーザーに対応づけられる |
cgroup | cgroupの階層の見え方 | 自分のcgroupをルート(/)として見せる |
time | 一部の時計(起動からの経過時間など) | コンテナごとに異なる起動時刻を見せられる(カーネル5.6以降) |
プロセスがどの名前空間に属しているかは、/proc/PID/ns/にあるシンボリックリンクで確認できます。リンク先の番号(inode番号)が同じであれば、同じ名前空間です。
$ readlink /proc/self/ns/uts
uts:[4026531838]
$ readlink /proc/self/ns/net
net:[4026531840]
lsnsで、コンテナの名前空間を一覧表示する
lsnsは、システムにある名前空間を一覧表示するコマンドです。-pでPIDを指定すると、そのプロセスが属する名前空間だけを表示します。コンテナのプロセスは、ホストとは別の番号の名前空間に属していることが分かります。
$ sudo lsns -p 4740
NS TYPE NPROCS PID USER COMMAND
4026532221 mnt 3 4740 root nginx: master process nginx -g daemon off;
4026532379 net 3 4740 root nginx: master process nginx -g daemon off;
4026532397 pid 3 4740 root nginx: master process nginx -g daemon off;
4026532456 cgroup 3 4740 root nginx: master process nginx -g daemon off;
4026532502 ipc 3 4740 root nginx: master process nginx -g daemon off;
4026532686 uts 3 4740 root nginx: master process nginx -g daemon off;
user名前空間とtime名前空間が表示されていないのは、Dockerの既定ではこの2つを分けず、ホストと共有しているためです。
nsenterで、コンテナの名前空間に入る
nsenterは、指定したプロセスの名前空間に入って、コマンドを実行します。-tでPID、-n(ネットワーク)・-u(UTS)・-m(マウント)などで、入る名前空間を選びます。
$ sudo nsenter -t 4740 -u hostname # UTS名前空間に入ると、コンテナのホスト名が見える
67a30e460d15
$ sudo nsenter -t 4740 -n ip a # ネットワーク名前空間に入ると、コンテナのインターフェースが見える
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
2: eth0@if25: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.2/16 brd 172.17.0.255 scope global eth0
公式イメージの多くは、サイズを小さくするために
ipやps、curlなどが入っていません。docker execで調べられないときも、nsenter -nでネットワーク名前空間だけに入れば、ホスト側のipやss、tcpdumpでコンテナの通信を調べられます。unshareで、名前空間を自分で作ってみる
unshareは、新しい名前空間を作ってコマンドを実行します。Dockerを使わなくても、名前空間の効果を体験できます。
$ sudo unshare --uts bash -c 'hostname container01; hostname'
container01
$ hostname # ホストのホスト名は変わっていない
linux-study
$ sudo unshare --pid --fork --mount-proc ps # 新しいPID名前空間では、自分がPID 1になる
PID TTY TIME CMD
1 pts/0 00:00:00 bash
2 pts/0 00:00:00 ps
--mount-procは、新しいPID名前空間に合わせて/procをマウントし直すオプションです。これを付けないと、psは/procからホストのプロセスを読んでしまいます。
cgroup:使える量を制限する
名前空間が「見える範囲」を分けるのに対し、cgroup(コントロールグループ)は、プロセスのグループが使えるリソースの量を制限・計測する機能です。CPU時間、メモリ、ブロックI/O、プロセス数などに上限を設けられます。現在の主要なディストリビューションは、すべての制御を1つの階層にまとめたcgroup v2を使っており、/sys/fs/cgroupにマウントされています。
$ cat /sys/fs/cgroup/cgroup.controllers # 使える制御の種類
cpuset cpu io memory hugetlb pids rdma misc
$ sudo docker info | grep -i cgroup
Cgroup Driver: systemd
Cgroup Version: 2
docker runの-m(--memory)や--cpusは、このcgroupの値を設定しています。systemdがcgroupを管理する環境では、コンテナごとに/sys/fs/cgroup/system.slice/docker-コンテナID.scopeというディレクトリが作られます。
$ sudo docker run -d --name limited -m 256m --cpus 0.5 nginx
$ ID=$(sudo docker inspect -f '{{.Id}}' limited)
$ cat /sys/fs/cgroup/system.slice/docker-$ID.scope/memory.max
268435456
$ cat /sys/fs/cgroup/system.slice/docker-$ID.scope/cpu.max
50000 100000
memory.maxはバイト単位のメモリ上限(256MiB=268435456バイト)です。cpu.maxの「50000 100000」は、100000マイクロ秒(0.1秒)の期間のうち、50000マイクロ秒までCPUを使える、つまりCPU 0.5個分という意味です。メモリの上限を超えたコンテナのプロセスは、カーネルのOOM Killerによって強制終了されます。
既定では、コンテナのメモリやCPUに上限はありません。
1つのコンテナが暴走すると、同じホストのほかのコンテナやホスト自体を巻き込んで止めてしまうことがあります。
本番環境では、上限を決めて起動するのが基本です。
コンテナランタイムの階層
名前空間とcgroupを組み合わせて、実際にコンテナを作るのがコンテナランタイムです。Dockerは、いくつかのプログラムが役割を分担しています。
| プログラム | 役割 |
|---|---|
docker(CLI) | 利用者のコマンドを受け取り、/var/run/docker.sock経由でdockerdに伝える |
dockerd | イメージ・ネットワーク・ボリュームなどを管理するデーモン |
containerd | コンテナの作成・起動・停止を管理する高レベルランタイム |
containerd-shim-runc-v2 | コンテナごとに1つ動き、コンテナのプロセスの親になる |
runc | 名前空間とcgroupを設定して、プロセスを起動する低レベルランタイム |
コンテナの形式は、OCI(Open Container Initiative)という団体が、イメージの形式(Image Spec)とランタイムの動作(Runtime Spec)として標準化しています。runcはRuntime Specの参照実装です。そのため、Dockerで作ったイメージは、PodmanやKubernetes(containerdやCRI-Oを利用)でもそのまま使えます。
コンテナのセキュリティを支える仕組み
コンテナはホストのカーネルを共有するため、隔離を補強する仕組みが重ねて使われています。
- ケーパビリティ(capabilities):rootの権限を細かく分けたものです。Dockerは、コンテナの中のrootから一部のケーパビリティ(カーネルモジュールの読み込みなど)を外して起動します。
--cap-add・--cap-dropで調整でき、--privilegedはすべてを与えるため、必要な場合以外は使いません。 - seccomp:プロセスが呼び出せるシステムコールを制限します。Dockerは既定のプロファイルで、危険なシステムコールを禁止しています。
- AppArmor・SELinux:ファイルなどへのアクセスを、強制アクセス制御で制限します。Ubuntuでは、
docker-defaultというAppArmorのプロファイルが適用されます。 - user名前空間:コンテナの中のrootを、ホストでは権限のないユーザーに対応づけます。Dockerの
userns-remapや、rootlessモードで利用できます。
305試験では、名前空間とcgroupの役割の違い(見える範囲を分けるのが名前空間、使える量を制限するのがcgroup)がよく問われます。
名前空間の種類と、
unshare・nsenter・lsnsの用途を、セットで覚えておきましょう。この章のまとめ
コンテナは、ホストのカーネルの上で動く普通のプロセスに、名前空間で「見える範囲」を、cgroupで「使える量」を与えたものです。dockerd・containerd・runcは、その設定を自動で行っているにすぎません。仕組みが分かると、nsenterでコンテナの通信を調べたり、cgroupの値で制限を確かめたりと、トラブルのときに打てる手が増えます。次の章では、OS全体をコンテナとして動かすLXCを扱います。
この章で使ったコマンド
この章の実行例に出てきたコマンドです(全8個)。名前を選ぶと、オプションや実行例を詳しく確認できます。復習や、あとから調べ直すときに使ってください。
docker・ps・readlink・lsns・nsenter・unshare・hostname・cat
この章の内容を練習できる課題
読んだ内容は、実際に打ってみると定着します。次の課題は、ブラウザの練習用ターミナルで、この章のコマンドを使って進めるものです。リンクを開くと、すぐに始まります。
- メモリとCPUを制限し、cgroupで確かめる(コンテナ(LPIC-3))
- 名前空間を確かめる(lsns・nsenter・unshare)(コンテナ(LPIC-3))
ほかの課題は、練習問題の一覧から選べます。