■スワップしているプロセスを特定するワンライナー。
以下はそれぞれ別のマシンで実行した結果なので、スワップしていないマシンもある。
$ awk '{if($1=="VmSwap:") \
{if($2>0) \
{gsub ("/proc/|/status","",FILENAME);print "ps -o pid,pcpu,pmem,cmd "FILENAME";echo \042"$(NF-1),$NF"\042"} \
}}' /proc/*/status | sh
PID %CPU %MEM CMD
1263 0.2 0.4 /usr/bin/dockerd -H fd://
256 kB
PID %CPU %MEM CMD
675 1.2 7.2 /usr/sbin/clamd --foreground=true
1664 kB
$ awk '{if($1=="VmSwap:") \
{if($2>0) \
{gsub ("/proc/|/status","",FILENAME);print "ps -o pid,pcpu,pmem,cmd "FILENAME";echo \042"$(NF-1),$NF"\042"} \
}}' /proc/*/status | sh
PID %CPU %MEM CMD
2437 4.5 7.0 qemu-system-x86_64 -enable-kvm -name guest=kvm-stretch,debug-threads=on -S -object secret,id=masterKey0,format=raw,file
48 kB
$ awk '{if($1=="VmSwap:") \
{if($2>0) \
{gsub ("/proc/|/status","",FILENAME);print "ps -o pid,pcpu,pmem,cmd "FILENAME";echo \042"$(NF-1),$NF"\042"} \
}}' /proc/*/status | sh
■スワップをクリアする方法はいつものように。
私の環境では5年位使っているが、特に不具合もなく十分な効果を得られている。
メモリ不足のサーバを効率的に使っているか
http://d.hatena.ne.jp/labunix/20130211
$ sudo ./myscripts/autoclear.sh -t
[Before]
2018/08/28,20:10:04,MEMUSED=14%,SWAPUSED=0%
total used free shared buff/cache available
Mem: 7995268 1167092 162724 236852 6665452 6335828
Swap: 31250428 222472 31027956
vm.drop_caches = 3
[After]
2018/08/28,20:10:04,MEMUSED=17%,SWAPUSED=0%
total used free shared buff/cache available
Mem: 7995268 1387152 5983076 236956 625040 6136816
Swap: 31250428 0 31250428
■おまけ
最近は仮想マシンが何台かよりも、ディスク速度の方がボトルネックになっている。
HDDの移行のためにネットワークコピーを介している最中に、スワップの原因を探ってみる。
SDDではないにしてもディスクI/Oのアルゴリズムをcfqからnoopにして多少はスワップによる転送速度低下を抑えられたようだ。
■割り込み不可能なスリープ状態にあるプロセスはなく、空きメモリもある。
ほとんどスワップインしていないのでメモリ不足というよりは、
ただしくスワップが機能して、再利用されなくなっているだけ。
スワップの開放をしても、他のアプリケーションの動作は改善するが、
ネットワークコピーの速度改善につながらないのも頷ける。
CPUもほぼアイドルから変化が無いので少なくともCPUはボトルネックではない。
I/O待ち時間とブロックからの受け取りの値から読み取るとディスクの読み込みがボトルネックになっている。
$ vmstat 30 10
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 12160 175556 28996 6418560 3 3 1976 56 38 13 28 5 65 2 0
1 0 14468 150764 29236 6445032 0 77 5889 85 3161 8705 27 5 68 0 0
1 0 16944 131720 29480 6466284 0 83 5833 93 3167 8733 26 5 68 0 0
2 0 20068 138912 29724 6462220 0 104 5963 112 3018 8733 26 5 69 0 0
1 0 22688 170484 29960 6432796 0 87 5870 95 3188 8916 28 6 66 0 0
1 0 25552 164596 30188 6441048 0 95 5772 101 3160 8684 28 6 67 0 0
2 0 28208 130196 30416 6477448 0 89 5772 97 3222 8818 28 6 66 0 0
3 0 30980 136744 30628 6472980 0 92 5633 98 3345 9139 31 6 62 0 0
3 0 34168 138740 30984 6474204 0 106 5743 114 3175 8870 28 6 65 0 0
2 0 37272 192028 31240 6423284 0 103 5743 108 3241 8915 28 6 65 0 0
■vmstatの簡易説明。
stだけ無いが英語版のmanにも無いので無いのだろう。
$ man vmstat | \
grep "$(echo "b swpd free buff cache si so bi bo in cs us sy id wa st" | \
sed -e 's/ */\\: \\|/g' -e 's/st/$\\:/')"
b: 割り込み不可能なスリープ状態にあるプロセス数
swpd: 仮想メモリの量。
free: 空きメモリの量。
buff: バッファに用いられているメモリの量。
cache: キャッシュに用いられているメモリの量。
si: ディスクからスワップインされているメモリの量 (/s)。
so: ディスクにスワップしているメモリの量 (/s)。
bi: ブロックデバイスから受け取ったブロック (blocks/s)。
bo: ブロックデバイスに送られたブロック (blocks/s)。
in: 一秒あたりの割り込み回数。クロック割り込みも含む。
cs: 一秒あたりのコンテキストスイッチの回数。
us: カーネルコード以外の実行に使用した時間 (ユーザー時間、nice 時間を含む)。
sy: カーネルコードの実行に使用した時間 (システム時間)。
id: アイドル時間。Linux 2.5.41 以前では、IO 待ち時間を含んでいる。
wa: IO 待ち時間。Linux 2.5.41 以前では、0 と表示される。
cache: キャッシュ名
pslab: slab 当りのページ数
■sarはsysstatが入っていない環境では取得できないので、
事前に設計していない限り後の祭ではあるのだけど、あると便利。
sarはデフォルトで10分置きに取得している。
以下は実際に「auth.log」に記録された「autoclear.sh」実行時以外には
「pswpin/s」のカウントアップが無いことが分かる。
$ sudo awk '/autoclear/&&!/awk|grep/{if($2==28)print $1,$2,$3,$(NF-1),$NF}' /var/log/auth.log
Aug 28 08:22:29 COMMAND=./myscripts/autoclear.sh -t
Aug 28 08:24:16 COMMAND=./myscripts/autoclear.sh -t
Aug 28 08:25:55 COMMAND=./myscripts/autoclear.sh -t
Aug 28 19:16:46 COMMAND=./myscripts/autoclear.sh -t
Aug 28 20:10:04 COMMAND=./myscripts/autoclear.sh -t
$ env LANG=C sudo sar -W | awk '{if($2>0.00){print}}'
Linux 4.9.0-8-amd64 (vmx-rdebian) 08/28/18 _x86_64_ (4 CPU)
00:00:01 pswpin/s pswpout/s
08:25:02 175.44 0.45
19:25:01 161.10 0.00
20:15:02 92.45 13.39
Average: 3.15 3.11
$ grep -A 1 every /etc/cron.d/sysstat
5-55/10 * * * * root command -v debian-sa1 > /dev/null && debian-sa1 1 1
■sarの簡易説明。
$ man sar | awk '/pswpin\/s|pswpout\/s/{print;getline;print}'
pswpin/s
Total number of swap pages the system brought in per second.
pswpout/s
Total number of swap pages the system brought out per second.
■ディスクキャッシュを利用しない場合のディスクからの読み込み性能「-t」と、
ディスクキャッシュを利用した場合のディスクからの読み込み性能「-T」の結果。
ネットワーク越しのコピーなど、キャッシュを使用しないようなシーケンシャルな処理は
特に遅くなるが、「-t」程度の転送速度は出るはず。
$ sudo hdparm -t /dev/sdb
/dev/sdb:
Timing buffered disk reads: 116 MB in 3.01 seconds = 38.58 MB/sec
$ sudo hdparm -T /dev/sdc
/dev/sdb:
Timing cached reads: 10830 MB in 2.00 seconds = 5423.34 MB/sec
■I/Oスケジューラの確認と変更
「autoclear.sh」の実行前後で体感的にも動作速度が変わるので、
ボトルネックになっているディスクの読み込みについて調査する。
現在のアルゴリズムはcfqなので、noopに変更する。
$ cat /sys/block/sdb/queue/scheduler
noop deadline [cfq]
$ echo noop | sudo tee /sys/block/sdb/queue/scheduler
$ cat /sys/block/sdb/queue/scheduler
[noop] deadline cfq
■気になるポイントからもっとも大きな原因は「%util」にある。
そもそもUSB2.0時代のHDDからUSB3.0のHDDに移行するために、
一時退避の目的でネットワークコピーをしているのだけど、
その間だけでも対策として、noopにした。
swap使用率が仮定した1.0%のしきい値までいかずに多少は安定しているので、
これ以上は追わないことにする。
%iowait :ネットワークコピーが遅いときと、連動しているように見えるがしきい値を考えるには見えにくい。
%memused :メモリの使用率が86~96%で高い(「autoclear.sh」実行直後は28.59%とその次の81.17%を除く)
%swpused :スワップは正常に見えるが、メモリ不足を考えてスワップ量のしきい値は1.0%以上を仮定。
%util :I/O要求がデバイスに発行された経過時間の割合が高い「sdc」が他の10倍以上で、ボトルネックの可能性がもっとも高い。
rxdrop/s :br0にぶら下がるeth0のRX-DROPがたまに発生している。
$ sar -d -p -s "08:00:00" -e "10:00:00" -f /var/log/sysstat/sa28 | \
awk '/sd/{a[$2]+=$NF}END{for (n in a){sum+=a[n];print n,a[n]}print sum}'
sda 17.43
sdb 11.6
sdc 191.92
220.95
$ netstat -i | awk '($5>0){print}'
Iface MTU RX-OK RX-ERR RX-DRP RX-OVR TX-OK TX-ERR TX-DRP TX-OVR Flg
eth0 1500 13718086 0 268 0 38995977 0 0 0 BMPRU
■28日の08:00~10:00のsysstat情報
$ echo -e "-P ALL\n-r\n-R\n-S\n-d -p\n-n DEV\n-n EDEV" | \
awk '{print "echo ["$0"]\nenv LANG=C sar "$0" -s \04208:00:00\042 -e \04210:00:00\042 -f /var/log/sysstat/sa28"}' | \
sh | \
awk '/^[0-2]|^Av|^\[/&&!/docker|br1|lo|tap/'
[-P ALL]
08:05:02 CPU %user %nice %system %iowait %steal %idle
08:15:01 all 26.89 0.00 5.57 0.18 0.00 67.37
08:15:01 0 25.83 0.00 4.75 0.17 0.00 69.25
08:15:01 1 10.99 0.00 7.41 0.11 0.00 81.48
08:15:01 2 37.30 0.00 5.22 0.11 0.00 57.37
08:15:01 3 32.81 0.00 4.97 0.31 0.00 61.92
08:25:02 all 30.21 0.00 8.34 1.73 0.00 59.72
08:25:02 0 46.25 0.00 5.94 1.08 0.00 46.73
08:25:02 1 16.47 0.00 10.28 1.63 0.00 71.63
08:25:02 2 44.88 0.00 6.80 1.54 0.00 46.77
08:25:02 3 12.52 0.00 10.45 2.68 0.00 74.35
08:35:01 all 53.06 0.00 8.29 1.60 0.00 37.05
08:35:01 0 61.65 0.00 7.00 1.65 0.00 29.70
08:35:01 1 50.29 0.00 9.86 1.54 0.00 38.32
08:35:01 2 50.63 0.00 8.52 1.67 0.00 39.17
08:35:01 3 49.60 0.00 7.78 1.56 0.00 41.06
08:45:01 all 55.22 0.00 8.11 0.54 0.00 36.14
08:45:01 0 64.57 0.00 7.21 0.30 0.00 27.92
08:45:01 1 54.10 0.00 9.64 0.62 0.00 35.63
08:45:01 2 50.11 0.00 8.09 0.43 0.00 41.37
08:45:01 3 52.00 0.00 7.49 0.81 0.00 39.70
08:55:01 all 43.39 0.00 7.20 0.53 0.00 48.88
08:55:01 0 49.07 0.00 6.09 0.35 0.00 44.48
08:55:01 1 35.40 0.00 8.78 0.46 0.00 55.36
08:55:01 2 54.72 0.00 7.23 0.49 0.00 37.57
08:55:01 3 34.16 0.00 6.76 0.82 0.00 58.27
09:05:01 all 25.21 0.00 4.99 0.14 0.00 69.67
09:05:01 0 26.27 0.00 4.59 0.15 0.00 68.99
09:05:01 1 10.07 0.00 5.88 0.15 0.00 83.91
09:05:01 2 34.89 0.00 5.04 0.08 0.00 59.99
09:05:01 3 29.08 0.00 4.48 0.19 0.00 66.26
09:15:01 all 25.34 0.00 5.05 0.18 0.00 69.43
09:15:01 0 16.34 0.00 4.58 0.11 0.00 78.97
09:15:01 1 2.52 0.00 6.03 0.19 0.00 91.26
09:15:01 2 48.84 0.00 5.15 0.12 0.00 45.90
09:15:01 3 32.73 0.00 4.48 0.30 0.00 62.49
09:25:01 all 25.40 0.00 5.05 0.20 0.00 69.36
09:25:01 0 29.21 0.00 4.57 0.15 0.00 66.06
09:25:01 1 2.22 0.00 5.81 0.13 0.00 91.85
09:25:01 2 42.45 0.00 5.09 0.10 0.00 52.37
09:25:01 3 26.81 0.00 4.75 0.40 0.00 68.05
09:35:01 all 25.18 0.00 4.93 0.13 0.00 69.75
09:35:01 0 26.86 0.00 4.49 0.09 0.00 68.56
09:35:01 1 4.49 0.00 5.91 0.16 0.00 89.44
09:35:01 2 58.24 0.00 4.80 0.04 0.00 36.92
09:35:01 3 10.20 0.00 4.55 0.24 0.00 85.01
09:45:01 all 25.26 0.00 5.02 0.16 0.00 69.56
09:45:01 0 17.12 0.00 4.52 0.15 0.00 78.22
09:45:01 1 7.09 0.00 6.13 0.16 0.00 86.63
09:45:01 2 51.40 0.00 5.03 0.06 0.00 43.50
09:45:01 3 24.71 0.00 4.42 0.27 0.00 70.60
09:55:01 all 24.99 0.00 4.64 0.33 0.00 70.04
09:55:01 0 33.20 0.00 4.13 0.20 0.00 62.47
09:55:01 1 13.06 0.00 5.46 0.27 0.00 81.21
09:55:01 2 39.65 0.00 4.67 0.30 0.00 55.38
09:55:01 3 13.58 0.00 4.35 0.53 0.00 81.55
Average: CPU %user %nice %system %iowait %steal %idle
Average: all 32.75 0.00 6.11 0.52 0.00 60.62
Average: 0 36.04 0.00 5.26 0.40 0.00 58.29
Average: 1 18.95 0.00 7.39 0.49 0.00 73.16
Average: 2 46.65 0.00 5.96 0.45 0.00 46.94
Average: 3 28.92 0.00 5.86 0.74 0.00 64.49
[-r]
08:05:02 kbmemfree kbmemused %memused kbbuffers kbcached kbcommit %commit kbactive kbinact kbdirty
08:15:01 183132 7812136 97.71 471676 6182332 4174172 10.64 1242024 6201248 124
08:25:02 5709072 2286196 28.59 14032 886696 4181060 10.65 675988 1437520 20
08:35:01 1505876 6489392 81.17 38012 3790372 4292740 10.94 2164740 4137900 168
08:45:01 300708 7694560 96.24 43836 4856156 4313816 10.99 2497124 5002692 208
08:55:01 125212 7870056 98.43 49348 6454820 4114056 10.48 1087096 6585716 40
09:05:01 320260 7675008 95.99 53964 6277704 4107776 10.47 1092848 6375720 44
09:15:01 128888 7866380 98.39 58400 6511460 4101668 10.45 1101272 6549584 188
09:25:01 129672 7865596 98.38 63556 6566120 4101668 10.45 1106196 6532784 120
09:35:01 126808 7868460 98.41 67808 6618168 4101668 10.45 1109460 6523412 120
09:45:01 129148 7866120 98.38 72084 6649224 4104716 10.46 1113896 6507068 208
09:55:01 160244 7835024 98.00 79900 6643940 4145596 10.56 1131236 6446164 588
Average: 801729 7193539 89.97 92056 5585181 4158085 10.60 1301989 5663619 166
[-R]
08:05:02 frmpg/s bufpg/s campg/s
08:15:01 -48.68 1.89 44.02
08:25:02 2298.68 -190.37 -2202.88
08:35:01 -1752.24 10.00 1210.49
08:45:01 -502.30 2.43 444.20
08:55:01 -73.11 2.30 666.02
09:05:01 81.26 1.92 -73.79
09:15:01 -79.77 1.85 97.44
09:25:01 0.33 2.15 22.77
09:35:01 -1.19 1.77 21.68
09:45:01 0.98 1.78 12.95
09:55:01 12.96 3.26 -2.20
Average: -5.29 -14.67 21.48
[-S]
08:05:02 kbswpfree kbswpused %swpused kbswpcad %swpcad
08:15:01 30829668 420760 1.35 156 0.04
08:25:02 31250428 0 0.00 0 0.00
08:35:01 31250428 0 0.00 0 0.00
08:45:01 31229660 20768 0.07 124 0.60
08:55:01 31206164 44264 0.14 92 0.21
09:05:01 31174172 76256 0.24 204 0.27
09:15:01 31119116 131312 0.42 360 0.27
09:25:01 31046524 203904 0.65 224 0.11
09:35:01 30984452 265976 0.85 160 0.06
09:45:01 30937584 312844 1.00 128 0.04
09:55:01 30890936 359492 1.15 76 0.02
Average: 31083557 166871 0.53 139 0.08
[-d -p]
08:05:02 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
08:15:01 sda 0.90 16.34 65.23 90.34 0.01 6.93 5.98 0.54
08:15:01 sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
08:15:01 sdc 95.47 12002.66 1.86 125.75 0.29 3.07 1.67 15.98
08:25:02 sda 190.56 2123.12 49.61 11.40 0.16 0.86 0.32 6.13
08:25:02 sdb 0.02 0.00 0.00 0.00 0.00 0.33 0.33 0.00
08:25:02 sdc 90.93 11400.70 1.90 125.40 0.28 3.08 1.68 15.32
08:35:01 sda 13.83 277.17 43.68 23.20 0.17 12.35 2.66 3.68
08:35:01 sdb 15.01 2763.27 0.37 184.17 0.08 5.63 4.03 6.05
08:35:01 sdc 73.87 9268.66 1.51 125.50 0.24 3.19 1.74 12.85
08:45:01 sda 2.15 42.00 96.08 64.20 0.02 8.64 5.85 1.26
08:45:01 sdb 6.21 1173.23 0.00 188.82 0.03 4.23 3.75 2.33
08:45:01 sdc 70.98 8920.85 1.37 125.70 0.23 3.20 1.75 12.41
08:55:01 sda 1.73 14.00 102.99 67.44 0.01 7.65 6.10 1.06
08:55:01 sdb 5.49 977.52 0.00 178.02 0.03 4.73 4.10 2.25
08:55:01 sdc 81.68 10267.34 1.53 125.72 0.25 3.10 1.70 13.87
09:05:01 sda 1.21 3.92 118.22 100.95 0.01 5.77 3.23 0.39
09:05:01 sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09:05:01 sdc 94.31 11851.97 2.00 125.69 0.29 3.05 1.67 15.77
09:15:01 sda 1.28 20.74 195.70 169.69 0.01 4.93 4.21 0.54
09:15:01 sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09:15:01 sdc 95.96 12061.66 1.81 125.72 0.29 3.05 1.67 16.06
09:25:01 sda 3.47 486.33 255.07 213.65 0.01 4.30 2.40 0.83
09:25:01 sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09:25:01 sdc 96.20 12091.67 1.93 125.72 0.29 3.04 1.67 16.03
09:35:01 sda 1.13 0.15 218.56 194.17 0.00 4.08 3.67 0.41
09:35:01 sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09:35:01 sdc 94.90 11927.15 1.95 125.70 0.29 3.04 1.67 15.84
09:45:01 sda 1.22 1.95 168.48 139.93 0.01 4.56 3.92 0.48
09:45:01 sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09:45:01 sdc 95.13 11953.91 1.99 125.68 0.29 3.05 1.67 15.88
09:55:01 sda 2.22 9.93 168.09 80.26 0.01 5.91 2.96 0.66
09:55:01 sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09:55:01 sdc 160.29 20149.11 3.00 125.72 0.48 3.01 1.62 25.92
Average: sda 20.00 272.68 134.70 20.37 0.04 1.93 0.73 1.45
Average: sdb 2.43 446.62 0.03 183.85 0.01 5.12 3.98 0.97
Average: sdc 95.43 11990.69 1.90 125.67 0.29 3.07 1.68 15.99
[-n DEV]
08:05:02 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
08:15:01 br0 1678.66 712.85 149.33 6007.98 0.00 0.00 0.00 0.00
08:15:01 eth0 1692.53 4836.58 178.22 6287.10 0.00 0.00 0.07 5.15
08:25:02 br0 1684.55 751.79 550.97 5724.20 0.00 0.00 0.00 0.00
08:25:02 eth0 1937.18 4671.48 599.41 5998.91 0.00 0.00 0.13 4.91
08:35:01 br0 959.70 554.95 92.29 4652.77 0.00 0.00 0.00 0.00
08:35:01 eth0 972.38 3668.73 110.03 4866.58 0.00 0.00 0.03 3.99
08:45:01 br0 868.02 701.51 63.85 4483.72 0.00 0.00 0.00 0.00
08:45:01 eth0 868.45 3505.70 79.15 4680.77 0.00 0.00 0.04 3.83
08:55:01 br0 1050.43 814.79 76.65 5169.65 0.00 0.00 0.00 0.00
08:55:01 eth0 1050.22 4039.32 95.10 5392.24 0.00 0.00 0.03 4.42
09:05:01 br0 1257.30 934.52 90.72 5938.76 0.00 0.00 0.00 0.00
09:05:01 eth0 1258.16 4632.58 112.90 6198.77 0.00 0.00 0.03 5.08
09:15:01 br0 1286.16 951.34 92.65 6050.33 0.00 0.00 0.00 0.00
09:15:01 eth0 1285.14 4712.98 115.17 6306.24 0.00 0.00 0.03 5.17
09:25:01 br0 1280.97 957.82 92.66 6067.65 0.00 0.00 0.00 0.00
09:25:01 eth0 1281.66 4740.22 115.24 6332.29 0.00 0.00 0.04 5.19
09:35:01 br0 1249.48 947.05 90.49 5999.04 0.00 0.00 0.00 0.00
09:35:01 eth0 1250.10 4695.89 112.51 6262.06 0.00 0.00 0.03 5.13
09:45:01 br0 1261.25 944.37 90.95 6009.61 0.00 0.00 0.00 0.00
09:45:01 eth0 1261.12 4695.45 113.11 6268.72 0.00 0.00 0.04 5.14
09:55:01 br0 2872.13 1484.72 203.32 10129.14 0.00 0.00 0.00 0.00
09:55:01 eth0 2866.07 7934.45 253.28 10558.10 0.00 0.00 0.03 8.65
Average: br0 1404.48 886.91 144.97 6021.26 0.00 0.00 0.00 0.00
Average: eth0 1429.46 4739.48 171.36 6286.62 0.00 0.00 0.05 5.15
[-n EDEV]
08:05:02 IFACE rxerr/s txerr/s coll/s rxdrop/s txdrop/s txcarr/s rxfram/s rxfifo/s txfifo/s
08:15:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
08:15:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
08:25:02 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
08:25:02 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
08:35:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
08:35:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
08:45:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
08:45:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
08:55:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
08:55:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
09:05:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09:05:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
09:15:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09:15:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
09:25:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09:25:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
09:35:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09:35:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
09:45:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09:45:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
09:55:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
09:55:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
Average: br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
■29日00:00~01:00のsysstat情報
$ echo -e "-P ALL\n-r\n-R\n-S\n-d -p\n-n DEV\n-n EDEV" | \
awk '{print "echo ["$0"]\nenv LANG=C sar "$0" -s \04200:00:00\042 -e \04210:01:00\042 -f /var/log/sysstat/sa29"}' | \
sh | \
awk '/^[0-2]|^Av|^\[/&&!/docker|br1|lo|tap/'
[-P ALL]
00:00:01 CPU %user %nice %system %iowait %steal %idle
00:05:01 all 27.97 0.00 6.18 0.51 0.00 65.34
00:05:01 0 36.18 0.00 5.53 0.35 0.00 57.94
00:05:01 1 18.99 0.00 5.69 0.71 0.00 74.61
00:05:01 2 39.20 0.00 7.90 0.73 0.00 52.17
00:05:01 3 17.69 0.00 5.62 0.27 0.00 76.42
00:15:02 all 27.56 0.00 5.89 2.35 0.00 64.20
00:15:02 0 43.64 0.00 5.33 1.90 0.00 49.13
00:15:02 1 12.44 0.00 5.45 2.67 0.00 79.44
00:15:02 2 28.46 0.00 7.30 1.98 0.00 62.26
00:15:02 3 25.53 0.00 5.53 2.83 0.00 66.10
00:25:01 all 28.93 0.00 5.95 0.34 0.00 64.78
00:25:01 0 34.62 0.00 5.44 0.25 0.00 59.69
00:25:01 1 20.16 0.00 5.51 0.37 0.00 73.96
00:25:01 2 27.67 0.00 7.72 0.27 0.00 64.34
00:25:01 3 33.17 0.00 5.18 0.48 0.00 61.17
00:35:01 all 27.20 0.00 5.68 0.36 0.00 66.76
00:35:01 0 55.68 0.00 5.22 0.27 0.00 38.82
00:35:01 1 18.64 0.00 5.35 0.34 0.00 75.67
00:35:01 2 19.81 0.00 6.84 0.31 0.00 73.04
00:35:01 3 14.19 0.00 5.32 0.53 0.00 79.95
00:45:01 all 26.57 0.00 5.43 0.31 0.00 67.69
00:45:01 0 38.94 0.00 5.07 0.21 0.00 55.79
00:45:01 1 14.84 0.00 5.00 0.22 0.00 79.94
00:45:01 2 25.85 0.00 6.69 0.30 0.00 67.16
00:45:01 3 26.50 0.00 5.00 0.49 0.00 68.00
00:55:01 all 26.47 0.00 5.33 0.32 0.00 67.88
00:55:01 0 35.45 0.00 4.98 0.23 0.00 59.34
00:55:01 1 14.91 0.00 4.83 0.22 0.00 80.04
00:55:01 2 30.36 0.00 6.71 0.18 0.00 62.74
00:55:01 3 25.16 0.00 4.81 0.63 0.00 69.40
01:05:01 all 25.58 0.00 4.99 0.30 0.00 69.13
01:05:01 0 43.60 0.00 4.84 0.17 0.00 51.39
01:05:01 1 15.15 0.00 4.37 0.27 0.00 80.22
01:05:01 2 19.90 0.00 6.14 0.25 0.00 73.71
01:05:01 3 23.35 0.00 4.63 0.52 0.00 71.50
01:15:01 all 26.40 0.00 5.56 0.36 0.00 67.68
01:15:01 0 40.57 0.00 5.12 0.26 0.00 54.06
01:15:01 1 10.90 0.00 5.14 0.27 0.00 83.69
01:15:01 2 26.86 0.00 6.83 0.34 0.00 65.97
01:15:01 3 27.14 0.00 5.18 0.56 0.00 67.12
01:25:01 all 26.01 0.00 5.43 0.34 0.00 68.21
01:25:01 0 39.90 0.00 5.13 0.21 0.00 54.75
01:25:01 1 16.11 0.00 4.76 0.23 0.00 78.89
01:25:01 2 31.55 0.00 7.02 0.34 0.00 61.09
01:25:01 3 16.49 0.00 4.86 0.60 0.00 78.06
Average: all 26.91 0.00 5.57 0.58 0.00 66.94
Average: 0 41.24 0.00 5.16 0.43 0.00 53.16
Average: 1 15.61 0.00 5.09 0.58 0.00 78.72
Average: 2 27.08 0.00 6.97 0.51 0.00 65.44
Average: 3 23.58 0.00 5.10 0.80 0.00 70.53
[-r]
00:00:01 kbmemfree kbmemused %memused kbbuffers kbcached kbcommit %commit kbactive kbinact kbdirty
00:05:01 227372 7767896 97.16 141900 6317224 3792032 9.66 1109036 6421756 88
00:15:02 122344 7872924 98.47 282232 6271356 3797424 9.68 1190448 6435028 184
00:25:01 125992 7869276 98.42 254028 6286432 3790636 9.66 1293668 6319792 144
00:35:01 204860 7790408 97.44 231140 6225048 3747120 9.55 1189852 6338224 80
00:45:01 346936 7648332 95.66 212580 6100344 3737636 9.52 1151828 6232380 100
00:55:01 152644 7842624 98.09 201556 6305956 3754440 9.57 1123464 6454616 12
01:05:01 239016 7756252 97.01 193644 6225220 3745536 9.54 1105380 6385012 24
01:15:01 125260 7870008 98.43 162280 6370076 3748896 9.55 1079676 6524472 56
01:25:01 436876 7558392 94.54 166124 6053160 3749016 9.55 1073672 6217684 124
Average: 220144 7775124 97.25 205054 6239424 3762526 9.59 1146336 6369885 90
[-R]
00:00:01 frmpg/s bufpg/s campg/s
00:05:01 69.20 9.30 -82.90
00:15:02 -43.71 58.41 -19.09
00:25:01 1.52 -11.77 6.29
00:35:01 32.86 -9.54 -25.57
00:45:01 59.17 -7.73 -51.94
00:55:01 -80.95 -4.59 85.67
01:05:01 35.99 -3.30 -33.64
01:15:01 -47.38 -13.06 60.34
01:25:01 129.81 1.60 -132.02
Average: 14.34 1.73 -17.82
[-S]
00:00:01 kbswpfree kbswpused %swpused kbswpcad %swpcad
00:05:01 31248616 1812 0.01 28 1.55
00:15:02 31248616 1812 0.01 28 1.55
00:25:01 31248668 1760 0.01 444 25.23
00:35:01 31248552 1876 0.01 464 24.73
00:45:01 31247916 2512 0.01 444 17.68
00:55:01 31247916 2512 0.01 444 17.68
01:05:01 31247916 2512 0.01 444 17.68
01:15:01 31247916 2512 0.01 444 17.68
01:25:01 31247916 2512 0.01 444 17.68
Average: 31248226 2202 0.01 354 16.06
[-d -p]
00:00:01 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
00:05:01 sda 12.39 93.30 61.13 12.47 0.08 6.23 1.26 1.56
00:05:01 sdb 97.14 12231.85 1.01 125.93 0.29 3.00 1.61 15.60
00:15:02 sda 47.46 666.41 162.80 17.47 0.40 8.52 1.98 9.40
00:15:02 sdb 94.96 11946.73 1.61 125.82 0.29 3.07 1.63 15.47
00:25:01 sda 4.50 916.68 102.53 226.32 0.01 2.97 1.94 0.87
00:25:01 sdb 95.73 12042.98 1.58 125.82 0.29 3.04 1.62 15.47
00:35:01 sda 1.25 8.23 119.83 102.45 0.01 8.99 6.31 0.79
00:35:01 sdb 93.95 11810.16 2.11 125.73 0.29 3.08 1.63 15.32
00:45:01 sda 1.13 14.19 90.95 93.36 0.01 8.19 6.49 0.73
00:45:01 sdb 94.65 11895.86 2.03 125.70 0.28 2.99 1.59 15.03
00:55:01 sda 1.38 3.93 123.13 92.19 0.01 8.74 7.89 1.09
00:55:01 sdb 94.12 11820.29 2.31 125.61 0.27 2.89 1.53 14.41
01:05:01 sda 1.00 6.17 116.07 122.46 0.01 9.57 5.03 0.50
01:05:01 sdb 96.51 12125.81 2.28 125.66 0.29 3.04 1.61 15.58
01:15:01 sda 1.14 6.81 120.51 111.39 0.01 9.73 6.29 0.72
01:15:01 sdb 94.32 11855.21 2.17 125.71 0.29 3.09 1.64 15.43
01:25:01 sda 1.34 4.04 118.07 91.03 0.01 7.79 4.42 0.59
01:25:01 sdb 96.86 12180.63 1.84 125.78 0.30 3.05 1.62 15.67
Average: sda 7.70 196.74 115.82 40.60 0.06 7.95 2.37 1.82
Average: sdb 95.26 11975.70 1.93 125.74 0.29 3.03 1.61 15.32
[-n DEV]
00:00:01 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
00:05:01 eth0 1735.37 4927.50 307.87 6461.69 0.00 0.00 0.06 5.29
00:05:01 br0 1649.43 1024.50 273.03 6196.61 0.00 0.00 0.00 0.00
00:15:02 eth0 1611.86 4806.80 191.86 6295.52 0.00 0.00 0.09 5.16
00:15:02 br0 1582.42 1060.45 162.01 6032.57 0.00 0.00 0.00 0.00
00:25:01 eth0 1621.72 4838.26 182.54 6347.59 0.00 0.00 0.07 5.20
00:25:01 br0 1597.34 1069.65 152.76 6079.68 0.00 0.00 0.00 0.00
00:35:01 eth0 1531.45 4720.84 136.46 6197.86 0.00 0.00 0.07 5.08
00:35:01 br0 1532.90 1036.52 109.64 5947.76 0.00 0.00 0.00 0.00
00:45:01 eth0 1560.26 4778.80 138.97 6261.21 0.00 0.00 0.07 5.13
00:45:01 br0 1558.92 1052.72 111.44 5997.18 0.00 0.00 0.00 0.00
00:55:01 eth0 1549.59 4737.46 138.00 6194.18 0.00 0.00 0.07 5.07
00:55:01 br0 1550.98 1048.48 110.85 5942.77 0.00 0.00 0.00 0.00
01:05:01 eth0 1587.53 4864.64 145.28 6379.37 0.00 0.00 0.07 5.23
01:05:01 br0 1583.49 1070.12 117.14 6110.10 0.00 0.00 0.00 0.00
01:15:01 eth0 1559.56 4752.86 143.26 6227.32 0.00 0.00 0.07 5.10
01:15:01 br0 1558.31 1049.58 115.81 5975.08 0.00 0.00 0.00 0.00
01:25:01 eth0 1608.09 4880.88 143.13 6407.56 0.00 0.00 0.07 5.25
01:25:01 br0 1606.39 1075.15 114.74 6136.96 0.00 0.00 0.00 0.00
Average: eth0 1587.97 4805.21 161.58 6298.99 0.00 0.00 0.07 5.16
Average: br0 1575.93 1055.87 133.05 6037.69 0.00 0.00 0.00 0.00
[-n EDEV]
00:00:01 IFACE rxerr/s txerr/s coll/s rxdrop/s txdrop/s txcarr/s rxfram/s rxfifo/s txfifo/s
00:05:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
00:05:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
00:15:02 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
00:15:02 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
00:25:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
00:25:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
00:35:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
00:35:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
00:45:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
00:45:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
00:55:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
00:55:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
01:05:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
01:05:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
01:15:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
01:15:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
01:25:01 eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
01:25:01 br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: eth0 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00
Average: br0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00