labunix's blog

labunixのラボUnix

スワップしているプロセスを特定するワンライナー。

■スワップしているプロセスを特定するワンライナー。
 以下はそれぞれ別のマシンで実行した結果なので、スワップしていないマシンもある。

$ awk '{if($1=="VmSwap:") \
         {if($2>0) \
           {gsub ("/proc/|/status","",FILENAME);print "ps -o pid,pcpu,pmem,cmd "FILENAME";echo \042"$(NF-1),$NF"\042"} \
       }}' /proc/*/status | sh
  PID %CPU %MEM CMD
 1263  0.2  0.4 /usr/bin/dockerd -H fd://
256 kB
  PID %CPU %MEM CMD
  675  1.2  7.2 /usr/sbin/clamd --foreground=true
1664 kB

$ awk '{if($1=="VmSwap:") \
         {if($2>0) \
           {gsub ("/proc/|/status","",FILENAME);print "ps -o pid,pcpu,pmem,cmd "FILENAME";echo \042"$(NF-1),$NF"\042"} \
       }}' /proc/*/status | sh
  PID %CPU %MEM CMD
 2437  4.5  7.0 qemu-system-x86_64 -enable-kvm -name guest=kvm-stretch,debug-threads=on -S -object secret,id=masterKey0,format=raw,file
48 kB

$ awk '{if($1=="VmSwap:") \
         {if($2>0) \
           {gsub ("/proc/|/status","",FILENAME);print "ps -o pid,pcpu,pmem,cmd "FILENAME";echo \042"$(NF-1),$NF"\042"} \
       }}' /proc/*/status | sh

■スワップをクリアする方法はいつものように。
 私の環境では5年位使っているが、特に不具合もなく十分な効果を得られている。

 メモリ不足のサーバを効率的に使っているか
 http://d.hatena.ne.jp/labunix/20130211

$ sudo ./myscripts/autoclear.sh -t
[Before]
2018/08/28,20:10:04,MEMUSED=14%,SWAPUSED=0%
              total        used        free      shared  buff/cache   available
Mem:        7995268     1167092      162724      236852     6665452     6335828
Swap:      31250428      222472    31027956
vm.drop_caches = 3
[After]
2018/08/28,20:10:04,MEMUSED=17%,SWAPUSED=0%
              total        used        free      shared  buff/cache   available
Mem:        7995268     1387152     5983076      236956      625040     6136816
Swap:      31250428           0    31250428

■おまけ
 最近は仮想マシンが何台かよりも、ディスク速度の方がボトルネックになっている。
 HDDの移行のためにネットワークコピーを介している最中に、スワップの原因を探ってみる。
 SDDではないにしてもディスクI/Oのアルゴリズムをcfqからnoopにして多少はスワップによる転送速度低下を抑えられたようだ。

■割り込み不可能なスリープ状態にあるプロセスはなく、空きメモリもある。
 ほとんどスワップインしていないのでメモリ不足というよりは、
 ただしくスワップが機能して、再利用されなくなっているだけ。

 スワップの開放をしても、他のアプリケーションの動作は改善するが、
 ネットワークコピーの速度改善につながらないのも頷ける。

 CPUもほぼアイドルから変化が無いので少なくともCPUはボトルネックではない。
 I/O待ち時間とブロックからの受け取りの値から読み取るとディスクの読み込みがボトルネックになっている。

$ vmstat 30 10
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0  12160 175556  28996 6418560    3    3  1976    56   38   13 28  5 65  2  0
 1  0  14468 150764  29236 6445032    0   77  5889    85 3161 8705 27  5 68  0  0
 1  0  16944 131720  29480 6466284    0   83  5833    93 3167 8733 26  5 68  0  0
 2  0  20068 138912  29724 6462220    0  104  5963   112 3018 8733 26  5 69  0  0
 1  0  22688 170484  29960 6432796    0   87  5870    95 3188 8916 28  6 66  0  0
 1  0  25552 164596  30188 6441048    0   95  5772   101 3160 8684 28  6 67  0  0
 2  0  28208 130196  30416 6477448    0   89  5772    97 3222 8818 28  6 66  0  0
 3  0  30980 136744  30628 6472980    0   92  5633    98 3345 9139 31  6 62  0  0
 3  0  34168 138740  30984 6474204    0  106  5743   114 3175 8870 28  6 65  0  0
 2  0  37272 192028  31240 6423284    0  103  5743   108 3241 8915 28  6 65  0  0

■vmstatの簡易説明。
 stだけ無いが英語版のmanにも無いので無いのだろう。

$ man vmstat | \
   grep "$(echo "b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st" | \
             sed -e 's/  */\\: \\|/g' -e 's/st/$\\:/')"
       b: 割り込み不可能なスリープ状態にあるプロセス数
       swpd: 仮想メモリの量。
       free: 空きメモリの量。
       buff: バッファに用いられているメモリの量。
       cache: キャッシュに用いられているメモリの量。
       si: ディスクからスワップインされているメモリの量 (/s)。
       so: ディスクにスワップしているメモリの量 (/s)。
       bi: ブロックデバイスから受け取ったブロック (blocks/s)。
       bo: ブロックデバイスに送られたブロック (blocks/s)in: 一秒あたりの割り込み回数。クロック割り込みも含む。
       cs: 一秒あたりのコンテキストスイッチの回数。
       us: カーネルコード以外の実行に使用した時間 (ユーザー時間、nice 時間を含む)。
       sy: カーネルコードの実行に使用した時間 (システム時間)。
       id: アイドル時間。Linux 2.5.41 以前では、IO 待ち時間を含んでいる。
       wa: IO 待ち時間。Linux 2.5.41 以前では、0 と表示される。
       cache: キャッシュ名
       pslab: slab 当りのページ数

■sarはsysstatが入っていない環境では取得できないので、
 事前に設計していない限り後の祭ではあるのだけど、あると便利。
 sarはデフォルトで10分置きに取得している。
 以下は実際に「auth.log」に記録された「autoclear.sh」実行時以外には
 「pswpin/s」のカウントアップが無いことが分かる。

$ sudo awk '/autoclear/&&!/awk|grep/{if($2==28)print $1,$2,$3,$(NF-1),$NF}' /var/log/auth.log
Aug 28 08:22:29 COMMAND=./myscripts/autoclear.sh -t
Aug 28 08:24:16 COMMAND=./myscripts/autoclear.sh -t
Aug 28 08:25:55 COMMAND=./myscripts/autoclear.sh -t
Aug 28 19:16:46 COMMAND=./myscripts/autoclear.sh -t
Aug 28 20:10:04 COMMAND=./myscripts/autoclear.sh -t

$ env LANG=C sudo sar -W | awk '{if($2>0.00){print}}'
Linux 4.9.0-8-amd64 (vmx-rdebian) 	08/28/18 	_x86_64_	(4 CPU)
00:00:01     pswpin/s pswpout/s
08:25:02       175.44      0.45
19:25:01       161.10      0.00
20:15:02        92.45     13.39
Average:         3.15      3.11

$  grep -A 1 every /etc/cron.d/sysstat
# Activity reports every 10 minutes everyday
5-55/10 * * * * root command -v debian-sa1 > /dev/null && debian-sa1 1 1

■sarの簡易説明。

$ man sar | awk '/pswpin\/s|pswpout\/s/{print;getline;print}'
              pswpin/s
                     Total number of swap pages the system brought in per second.
              pswpout/s
                     Total number of swap pages the system brought out per second.

■ディスクキャッシュを利用しない場合のディスクからの読み込み性能「-t」と、
 ディスクキャッシュを利用した場合のディスクからの読み込み性能「-T」の結果。
 ネットワーク越しのコピーなど、キャッシュを使用しないようなシーケンシャルな処理は
 特に遅くなるが、「-t」程度の転送速度は出るはず。

$ sudo hdparm -t /dev/sdb

/dev/sdb:
 Timing buffered disk reads: 116 MB in  3.01 seconds =  38.58 MB/sec

$ sudo hdparm -T /dev/sdc

/dev/sdb:
 Timing cached reads:   10830 MB in  2.00 seconds = 5423.34 MB/sec

■I/Oスケジューラの確認と変更
 「autoclear.sh」の実行前後で体感的にも動作速度が変わるので、
 ボトルネックになっているディスクの読み込みについて調査する。
 現在のアルゴリズムはcfqなので、noopに変更する。

$ cat /sys/block/sdb/queue/scheduler 
noop deadline [cfq] 

$ echo noop | sudo tee /sys/block/sdb/queue/scheduler

$ cat /sys/block/sdb/queue/scheduler
[noop] deadline cfq

■気になるポイントからもっとも大きな原因は「%util」にある。

 そもそもUSB2.0時代のHDDからUSB3.0のHDDに移行するために、
 一時退避の目的でネットワークコピーをしているのだけど、
 その間だけでも対策として、noopにした。
 swap使用率が仮定した1.0%のしきい値までいかずに多少は安定しているので、
 これ以上は追わないことにする。

 %iowait	:ネットワークコピーが遅いときと、連動しているように見えるがしきい値を考えるには見えにくい。
 %memused	:メモリの使用率が8696%で高い(「autoclear.sh」実行直後は28.59%とその次の81.17%を除く)
 %swpused	:スワップは正常に見えるが、メモリ不足を考えてスワップ量のしきい値は1.0%以上を仮定。
 %util		:I/O要求がデバイスに発行された経過時間の割合が高い「sdc」が他の10倍以上で、ボトルネックの可能性がもっとも高い。
 rxdrop/s	:br0にぶら下がるeth0のRX-DROPがたまに発生している。

$ sar -d -p -s "08:00:00" -e "10:00:00" -f /var/log/sysstat/sa28 | \
    awk '/sd/{a[$2]+=$NF}END{for (n in a){sum+=a[n];print n,a[n]}print sum}'
sda 17.43
sdb 11.6
sdc 191.92
220.95

$ netstat -i | awk '($5>0){print}'
Iface      MTU    RX-OK RX-ERR RX-DRP RX-OVR    TX-OK TX-ERR TX-DRP TX-OVR Flg
eth0      1500 13718086      0    268 0      38995977      0      0      0 BMPRU

■28日の08:0010:00のsysstat情報

$ echo -e "-P ALL\n-r\n-R\n-S\n-d -p\n-n DEV\n-n EDEV" | \
    awk '{print "echo ["$0"]\nenv LANG=C sar "$0" -s \04208:00:00\042 -e \04210:00:00\042 -f /var/log/sysstat/sa28"}' | \
    sh | \
    awk '/^[0-2]|^Av|^\[/&&!/docker|br1|lo|tap/'
[-P ALL]
08:05:02        CPU     %user     %nice   %system   %iowait    %steal     %idle
08:15:01        all     26.89      0.00      5.57      0.18      0.00     67.37
08:15:01          0     25.83      0.00      4.75      0.17      0.00     69.25
08:15:01          1     10.99      0.00      7.41      0.11      0.00     81.48
08:15:01          2     37.30      0.00      5.22      0.11      0.00     57.37
08:15:01          3     32.81      0.00      4.97      0.31      0.00     61.92
08:25:02        all     30.21      0.00      8.34      1.73      0.00     59.72
08:25:02          0     46.25      0.00      5.94      1.08      0.00     46.73
08:25:02          1     16.47      0.00     10.28      1.63      0.00     71.63
08:25:02          2     44.88      0.00      6.80      1.54      0.00     46.77
08:25:02          3     12.52      0.00     10.45      2.68      0.00     74.35
08:35:01        all     53.06      0.00      8.29      1.60      0.00     37.05
08:35:01          0     61.65      0.00      7.00      1.65      0.00     29.70
08:35:01          1     50.29      0.00      9.86      1.54      0.00     38.32
08:35:01          2     50.63      0.00      8.52      1.67      0.00     39.17
08:35:01          3     49.60      0.00      7.78      1.56      0.00     41.06
08:45:01        all     55.22      0.00      8.11      0.54      0.00     36.14
08:45:01          0     64.57      0.00      7.21      0.30      0.00     27.92
08:45:01          1     54.10      0.00      9.64      0.62      0.00     35.63
08:45:01          2     50.11      0.00      8.09      0.43      0.00     41.37
08:45:01          3     52.00      0.00      7.49      0.81      0.00     39.70
08:55:01        all     43.39      0.00      7.20      0.53      0.00     48.88
08:55:01          0     49.07      0.00      6.09      0.35      0.00     44.48
08:55:01          1     35.40      0.00      8.78      0.46      0.00     55.36
08:55:01          2     54.72      0.00      7.23      0.49      0.00     37.57
08:55:01          3     34.16      0.00      6.76      0.82      0.00     58.27
09:05:01        all     25.21      0.00      4.99      0.14      0.00     69.67
09:05:01          0     26.27      0.00      4.59      0.15      0.00     68.99
09:05:01          1     10.07      0.00      5.88      0.15      0.00     83.91
09:05:01          2     34.89      0.00      5.04      0.08      0.00     59.99
09:05:01          3     29.08      0.00      4.48      0.19      0.00     66.26
09:15:01        all     25.34      0.00      5.05      0.18      0.00     69.43
09:15:01          0     16.34      0.00      4.58      0.11      0.00     78.97
09:15:01          1      2.52      0.00      6.03      0.19      0.00     91.26
09:15:01          2     48.84      0.00      5.15      0.12      0.00     45.90
09:15:01          3     32.73      0.00      4.48      0.30      0.00     62.49
09:25:01        all     25.40      0.00      5.05      0.20      0.00     69.36
09:25:01          0     29.21      0.00      4.57      0.15      0.00     66.06
09:25:01          1      2.22      0.00      5.81      0.13      0.00     91.85
09:25:01          2     42.45      0.00      5.09      0.10      0.00     52.37
09:25:01          3     26.81      0.00      4.75      0.40      0.00     68.05
09:35:01        all     25.18      0.00      4.93      0.13      0.00     69.75
09:35:01          0     26.86      0.00      4.49      0.09      0.00     68.56
09:35:01          1      4.49      0.00      5.91      0.16      0.00     89.44
09:35:01          2     58.24      0.00      4.80      0.04      0.00     36.92
09:35:01          3     10.20      0.00      4.55      0.24      0.00     85.01
09:45:01        all     25.26      0.00      5.02      0.16      0.00     69.56
09:45:01          0     17.12      0.00      4.52      0.15      0.00     78.22
09:45:01          1      7.09      0.00      6.13      0.16      0.00     86.63
09:45:01          2     51.40      0.00      5.03      0.06      0.00     43.50
09:45:01          3     24.71      0.00      4.42      0.27      0.00     70.60
09:55:01        all     24.99      0.00      4.64      0.33      0.00     70.04
09:55:01          0     33.20      0.00      4.13      0.20      0.00     62.47
09:55:01          1     13.06      0.00      5.46      0.27      0.00     81.21
09:55:01          2     39.65      0.00      4.67      0.30      0.00     55.38
09:55:01          3     13.58      0.00      4.35      0.53      0.00     81.55
Average:        CPU     %user     %nice   %system   %iowait    %steal     %idle
Average:        all     32.75      0.00      6.11      0.52      0.00     60.62
Average:          0     36.04      0.00      5.26      0.40      0.00     58.29
Average:          1     18.95      0.00      7.39      0.49      0.00     73.16
Average:          2     46.65      0.00      5.96      0.45      0.00     46.94
Average:          3     28.92      0.00      5.86      0.74      0.00     64.49
[-r]
08:05:02    kbmemfree kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
08:15:01       183132   7812136     97.71    471676   6182332   4174172     10.64   1242024   6201248       124
08:25:02      5709072   2286196     28.59     14032    886696   4181060     10.65    675988   1437520        20
08:35:01      1505876   6489392     81.17     38012   3790372   4292740     10.94   2164740   4137900       168
08:45:01       300708   7694560     96.24     43836   4856156   4313816     10.99   2497124   5002692       208
08:55:01       125212   7870056     98.43     49348   6454820   4114056     10.48   1087096   6585716        40
09:05:01       320260   7675008     95.99     53964   6277704   4107776     10.47   1092848   6375720        44
09:15:01       128888   7866380     98.39     58400   6511460   4101668     10.45   1101272   6549584       188
09:25:01       129672   7865596     98.38     63556   6566120   4101668     10.45   1106196   6532784       120
09:35:01       126808   7868460     98.41     67808   6618168   4101668     10.45   1109460   6523412       120
09:45:01       129148   7866120     98.38     72084   6649224   4104716     10.46   1113896   6507068       208
09:55:01       160244   7835024     98.00     79900   6643940   4145596     10.56   1131236   6446164       588
Average:       801729   7193539     89.97     92056   5585181   4158085     10.60   1301989   5663619       166
[-R]
08:05:02      frmpg/s   bufpg/s   campg/s
08:15:01       -48.68      1.89     44.02
08:25:02      2298.68   -190.37  -2202.88
08:35:01     -1752.24     10.00   1210.49
08:45:01      -502.30      2.43    444.20
08:55:01       -73.11      2.30    666.02
09:05:01        81.26      1.92    -73.79
09:15:01       -79.77      1.85     97.44
09:25:01         0.33      2.15     22.77
09:35:01        -1.19      1.77     21.68
09:45:01         0.98      1.78     12.95
09:55:01        12.96      3.26     -2.20
Average:        -5.29    -14.67     21.48
[-S]
08:05:02    kbswpfree kbswpused  %swpused  kbswpcad   %swpcad
08:15:01     30829668    420760      1.35       156      0.04
08:25:02     31250428         0      0.00         0      0.00
08:35:01     31250428         0      0.00         0      0.00
08:45:01     31229660     20768      0.07       124      0.60
08:55:01     31206164     44264      0.14        92      0.21
09:05:01     31174172     76256      0.24       204      0.27
09:15:01     31119116    131312      0.42       360      0.27
09:25:01     31046524    203904      0.65       224      0.11
09:35:01     30984452    265976      0.85       160      0.06
09:45:01     30937584    312844      1.00       128      0.04
09:55:01     30890936    359492      1.15        76      0.02
Average:     31083557    166871      0.53       139      0.08
[-d -p]
08:05:02          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
08:15:01          sda      0.90     16.34     65.23     90.34      0.01      6.93      5.98      0.54
08:15:01          sdb      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:15:01          sdc     95.47  12002.66      1.86    125.75      0.29      3.07      1.67     15.98
08:25:02          sda    190.56   2123.12     49.61     11.40      0.16      0.86      0.32      6.13
08:25:02          sdb      0.02      0.00      0.00      0.00      0.00      0.33      0.33      0.00
08:25:02          sdc     90.93  11400.70      1.90    125.40      0.28      3.08      1.68     15.32
08:35:01          sda     13.83    277.17     43.68     23.20      0.17     12.35      2.66      3.68
08:35:01          sdb     15.01   2763.27      0.37    184.17      0.08      5.63      4.03      6.05
08:35:01          sdc     73.87   9268.66      1.51    125.50      0.24      3.19      1.74     12.85
08:45:01          sda      2.15     42.00     96.08     64.20      0.02      8.64      5.85      1.26
08:45:01          sdb      6.21   1173.23      0.00    188.82      0.03      4.23      3.75      2.33
08:45:01          sdc     70.98   8920.85      1.37    125.70      0.23      3.20      1.75     12.41
08:55:01          sda      1.73     14.00    102.99     67.44      0.01      7.65      6.10      1.06
08:55:01          sdb      5.49    977.52      0.00    178.02      0.03      4.73      4.10      2.25
08:55:01          sdc     81.68  10267.34      1.53    125.72      0.25      3.10      1.70     13.87
09:05:01          sda      1.21      3.92    118.22    100.95      0.01      5.77      3.23      0.39
09:05:01          sdb      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:05:01          sdc     94.31  11851.97      2.00    125.69      0.29      3.05      1.67     15.77
09:15:01          sda      1.28     20.74    195.70    169.69      0.01      4.93      4.21      0.54
09:15:01          sdb      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:15:01          sdc     95.96  12061.66      1.81    125.72      0.29      3.05      1.67     16.06
09:25:01          sda      3.47    486.33    255.07    213.65      0.01      4.30      2.40      0.83
09:25:01          sdb      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:25:01          sdc     96.20  12091.67      1.93    125.72      0.29      3.04      1.67     16.03
09:35:01          sda      1.13      0.15    218.56    194.17      0.00      4.08      3.67      0.41
09:35:01          sdb      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:35:01          sdc     94.90  11927.15      1.95    125.70      0.29      3.04      1.67     15.84
09:45:01          sda      1.22      1.95    168.48    139.93      0.01      4.56      3.92      0.48
09:45:01          sdb      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:45:01          sdc     95.13  11953.91      1.99    125.68      0.29      3.05      1.67     15.88
09:55:01          sda      2.22      9.93    168.09     80.26      0.01      5.91      2.96      0.66
09:55:01          sdb      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:55:01          sdc    160.29  20149.11      3.00    125.72      0.48      3.01      1.62     25.92
Average:          sda     20.00    272.68    134.70     20.37      0.04      1.93      0.73      1.45
Average:          sdb      2.43    446.62      0.03    183.85      0.01      5.12      3.98      0.97
Average:          sdc     95.43  11990.69      1.90    125.67      0.29      3.07      1.68     15.99
[-n DEV]
08:05:02        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil
08:15:01          br0   1678.66    712.85    149.33   6007.98      0.00      0.00      0.00      0.00
08:15:01         eth0   1692.53   4836.58    178.22   6287.10      0.00      0.00      0.07      5.15
08:25:02          br0   1684.55    751.79    550.97   5724.20      0.00      0.00      0.00      0.00
08:25:02         eth0   1937.18   4671.48    599.41   5998.91      0.00      0.00      0.13      4.91
08:35:01          br0    959.70    554.95     92.29   4652.77      0.00      0.00      0.00      0.00
08:35:01         eth0    972.38   3668.73    110.03   4866.58      0.00      0.00      0.03      3.99
08:45:01          br0    868.02    701.51     63.85   4483.72      0.00      0.00      0.00      0.00
08:45:01         eth0    868.45   3505.70     79.15   4680.77      0.00      0.00      0.04      3.83
08:55:01          br0   1050.43    814.79     76.65   5169.65      0.00      0.00      0.00      0.00
08:55:01         eth0   1050.22   4039.32     95.10   5392.24      0.00      0.00      0.03      4.42
09:05:01          br0   1257.30    934.52     90.72   5938.76      0.00      0.00      0.00      0.00
09:05:01         eth0   1258.16   4632.58    112.90   6198.77      0.00      0.00      0.03      5.08
09:15:01          br0   1286.16    951.34     92.65   6050.33      0.00      0.00      0.00      0.00
09:15:01         eth0   1285.14   4712.98    115.17   6306.24      0.00      0.00      0.03      5.17
09:25:01          br0   1280.97    957.82     92.66   6067.65      0.00      0.00      0.00      0.00
09:25:01         eth0   1281.66   4740.22    115.24   6332.29      0.00      0.00      0.04      5.19
09:35:01          br0   1249.48    947.05     90.49   5999.04      0.00      0.00      0.00      0.00
09:35:01         eth0   1250.10   4695.89    112.51   6262.06      0.00      0.00      0.03      5.13
09:45:01          br0   1261.25    944.37     90.95   6009.61      0.00      0.00      0.00      0.00
09:45:01         eth0   1261.12   4695.45    113.11   6268.72      0.00      0.00      0.04      5.14
09:55:01          br0   2872.13   1484.72    203.32  10129.14      0.00      0.00      0.00      0.00
09:55:01         eth0   2866.07   7934.45    253.28  10558.10      0.00      0.00      0.03      8.65
Average:          br0   1404.48    886.91    144.97   6021.26      0.00      0.00      0.00      0.00
Average:         eth0   1429.46   4739.48    171.36   6286.62      0.00      0.00      0.05      5.15
[-n EDEV]
08:05:02        IFACE   rxerr/s   txerr/s    coll/s  rxdrop/s  txdrop/s  txcarr/s  rxfram/s  rxfifo/s  txfifo/s
08:15:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:15:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
08:25:02          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:25:02         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
08:35:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:35:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
08:45:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:45:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
08:55:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:55:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
09:05:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:05:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
09:15:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:15:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
09:25:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:25:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
09:35:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:35:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
09:45:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:45:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
09:55:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:55:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
Average:          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00

■2900:0001:00のsysstat情報

$ echo -e "-P ALL\n-r\n-R\n-S\n-d -p\n-n DEV\n-n EDEV" | \
    awk '{print "echo ["$0"]\nenv LANG=C sar "$0" -s \04200:00:00\042 -e \04210:01:00\042 -f /var/log/sysstat/sa29"}' | \
    sh | \
    awk '/^[0-2]|^Av|^\[/&&!/docker|br1|lo|tap/' 
[-P ALL]
00:00:01        CPU     %user     %nice   %system   %iowait    %steal     %idle
00:05:01        all     27.97      0.00      6.18      0.51      0.00     65.34
00:05:01          0     36.18      0.00      5.53      0.35      0.00     57.94
00:05:01          1     18.99      0.00      5.69      0.71      0.00     74.61
00:05:01          2     39.20      0.00      7.90      0.73      0.00     52.17
00:05:01          3     17.69      0.00      5.62      0.27      0.00     76.42
00:15:02        all     27.56      0.00      5.89      2.35      0.00     64.20
00:15:02          0     43.64      0.00      5.33      1.90      0.00     49.13
00:15:02          1     12.44      0.00      5.45      2.67      0.00     79.44
00:15:02          2     28.46      0.00      7.30      1.98      0.00     62.26
00:15:02          3     25.53      0.00      5.53      2.83      0.00     66.10
00:25:01        all     28.93      0.00      5.95      0.34      0.00     64.78
00:25:01          0     34.62      0.00      5.44      0.25      0.00     59.69
00:25:01          1     20.16      0.00      5.51      0.37      0.00     73.96
00:25:01          2     27.67      0.00      7.72      0.27      0.00     64.34
00:25:01          3     33.17      0.00      5.18      0.48      0.00     61.17
00:35:01        all     27.20      0.00      5.68      0.36      0.00     66.76
00:35:01          0     55.68      0.00      5.22      0.27      0.00     38.82
00:35:01          1     18.64      0.00      5.35      0.34      0.00     75.67
00:35:01          2     19.81      0.00      6.84      0.31      0.00     73.04
00:35:01          3     14.19      0.00      5.32      0.53      0.00     79.95
00:45:01        all     26.57      0.00      5.43      0.31      0.00     67.69
00:45:01          0     38.94      0.00      5.07      0.21      0.00     55.79
00:45:01          1     14.84      0.00      5.00      0.22      0.00     79.94
00:45:01          2     25.85      0.00      6.69      0.30      0.00     67.16
00:45:01          3     26.50      0.00      5.00      0.49      0.00     68.00
00:55:01        all     26.47      0.00      5.33      0.32      0.00     67.88
00:55:01          0     35.45      0.00      4.98      0.23      0.00     59.34
00:55:01          1     14.91      0.00      4.83      0.22      0.00     80.04
00:55:01          2     30.36      0.00      6.71      0.18      0.00     62.74
00:55:01          3     25.16      0.00      4.81      0.63      0.00     69.40
01:05:01        all     25.58      0.00      4.99      0.30      0.00     69.13
01:05:01          0     43.60      0.00      4.84      0.17      0.00     51.39
01:05:01          1     15.15      0.00      4.37      0.27      0.00     80.22
01:05:01          2     19.90      0.00      6.14      0.25      0.00     73.71
01:05:01          3     23.35      0.00      4.63      0.52      0.00     71.50
01:15:01        all     26.40      0.00      5.56      0.36      0.00     67.68
01:15:01          0     40.57      0.00      5.12      0.26      0.00     54.06
01:15:01          1     10.90      0.00      5.14      0.27      0.00     83.69
01:15:01          2     26.86      0.00      6.83      0.34      0.00     65.97
01:15:01          3     27.14      0.00      5.18      0.56      0.00     67.12
01:25:01        all     26.01      0.00      5.43      0.34      0.00     68.21
01:25:01          0     39.90      0.00      5.13      0.21      0.00     54.75
01:25:01          1     16.11      0.00      4.76      0.23      0.00     78.89
01:25:01          2     31.55      0.00      7.02      0.34      0.00     61.09
01:25:01          3     16.49      0.00      4.86      0.60      0.00     78.06
Average:        all     26.91      0.00      5.57      0.58      0.00     66.94
Average:          0     41.24      0.00      5.16      0.43      0.00     53.16
Average:          1     15.61      0.00      5.09      0.58      0.00     78.72
Average:          2     27.08      0.00      6.97      0.51      0.00     65.44
Average:          3     23.58      0.00      5.10      0.80      0.00     70.53
[-r]
00:00:01    kbmemfree kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
00:05:01       227372   7767896     97.16    141900   6317224   3792032      9.66   1109036   6421756        88
00:15:02       122344   7872924     98.47    282232   6271356   3797424      9.68   1190448   6435028       184
00:25:01       125992   7869276     98.42    254028   6286432   3790636      9.66   1293668   6319792       144
00:35:01       204860   7790408     97.44    231140   6225048   3747120      9.55   1189852   6338224        80
00:45:01       346936   7648332     95.66    212580   6100344   3737636      9.52   1151828   6232380       100
00:55:01       152644   7842624     98.09    201556   6305956   3754440      9.57   1123464   6454616        12
01:05:01       239016   7756252     97.01    193644   6225220   3745536      9.54   1105380   6385012        24
01:15:01       125260   7870008     98.43    162280   6370076   3748896      9.55   1079676   6524472        56
01:25:01       436876   7558392     94.54    166124   6053160   3749016      9.55   1073672   6217684       124
Average:       220144   7775124     97.25    205054   6239424   3762526      9.59   1146336   6369885        90
[-R]
00:00:01      frmpg/s   bufpg/s   campg/s
00:05:01        69.20      9.30    -82.90
00:15:02       -43.71     58.41    -19.09
00:25:01         1.52    -11.77      6.29
00:35:01        32.86     -9.54    -25.57
00:45:01        59.17     -7.73    -51.94
00:55:01       -80.95     -4.59     85.67
01:05:01        35.99     -3.30    -33.64
01:15:01       -47.38    -13.06     60.34
01:25:01       129.81      1.60   -132.02
Average:        14.34      1.73    -17.82
[-S]
00:00:01    kbswpfree kbswpused  %swpused  kbswpcad   %swpcad
00:05:01     31248616      1812      0.01        28      1.55
00:15:02     31248616      1812      0.01        28      1.55
00:25:01     31248668      1760      0.01       444     25.23
00:35:01     31248552      1876      0.01       464     24.73
00:45:01     31247916      2512      0.01       444     17.68
00:55:01     31247916      2512      0.01       444     17.68
01:05:01     31247916      2512      0.01       444     17.68
01:15:01     31247916      2512      0.01       444     17.68
01:25:01     31247916      2512      0.01       444     17.68
Average:     31248226      2202      0.01       354     16.06
[-d -p]
00:00:01          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
00:05:01          sda     12.39     93.30     61.13     12.47      0.08      6.23      1.26      1.56
00:05:01          sdb     97.14  12231.85      1.01    125.93      0.29      3.00      1.61     15.60
00:15:02          sda     47.46    666.41    162.80     17.47      0.40      8.52      1.98      9.40
00:15:02          sdb     94.96  11946.73      1.61    125.82      0.29      3.07      1.63     15.47
00:25:01          sda      4.50    916.68    102.53    226.32      0.01      2.97      1.94      0.87
00:25:01          sdb     95.73  12042.98      1.58    125.82      0.29      3.04      1.62     15.47
00:35:01          sda      1.25      8.23    119.83    102.45      0.01      8.99      6.31      0.79
00:35:01          sdb     93.95  11810.16      2.11    125.73      0.29      3.08      1.63     15.32
00:45:01          sda      1.13     14.19     90.95     93.36      0.01      8.19      6.49      0.73
00:45:01          sdb     94.65  11895.86      2.03    125.70      0.28      2.99      1.59     15.03
00:55:01          sda      1.38      3.93    123.13     92.19      0.01      8.74      7.89      1.09
00:55:01          sdb     94.12  11820.29      2.31    125.61      0.27      2.89      1.53     14.41
01:05:01          sda      1.00      6.17    116.07    122.46      0.01      9.57      5.03      0.50
01:05:01          sdb     96.51  12125.81      2.28    125.66      0.29      3.04      1.61     15.58
01:15:01          sda      1.14      6.81    120.51    111.39      0.01      9.73      6.29      0.72
01:15:01          sdb     94.32  11855.21      2.17    125.71      0.29      3.09      1.64     15.43
01:25:01          sda      1.34      4.04    118.07     91.03      0.01      7.79      4.42      0.59
01:25:01          sdb     96.86  12180.63      1.84    125.78      0.30      3.05      1.62     15.67
Average:          sda      7.70    196.74    115.82     40.60      0.06      7.95      2.37      1.82
Average:          sdb     95.26  11975.70      1.93    125.74      0.29      3.03      1.61     15.32
[-n DEV]
00:00:01        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil
00:05:01         eth0   1735.37   4927.50    307.87   6461.69      0.00      0.00      0.06      5.29
00:05:01          br0   1649.43   1024.50    273.03   6196.61      0.00      0.00      0.00      0.00
00:15:02         eth0   1611.86   4806.80    191.86   6295.52      0.00      0.00      0.09      5.16
00:15:02          br0   1582.42   1060.45    162.01   6032.57      0.00      0.00      0.00      0.00
00:25:01         eth0   1621.72   4838.26    182.54   6347.59      0.00      0.00      0.07      5.20
00:25:01          br0   1597.34   1069.65    152.76   6079.68      0.00      0.00      0.00      0.00
00:35:01         eth0   1531.45   4720.84    136.46   6197.86      0.00      0.00      0.07      5.08
00:35:01          br0   1532.90   1036.52    109.64   5947.76      0.00      0.00      0.00      0.00
00:45:01         eth0   1560.26   4778.80    138.97   6261.21      0.00      0.00      0.07      5.13
00:45:01          br0   1558.92   1052.72    111.44   5997.18      0.00      0.00      0.00      0.00
00:55:01         eth0   1549.59   4737.46    138.00   6194.18      0.00      0.00      0.07      5.07
00:55:01          br0   1550.98   1048.48    110.85   5942.77      0.00      0.00      0.00      0.00
01:05:01         eth0   1587.53   4864.64    145.28   6379.37      0.00      0.00      0.07      5.23
01:05:01          br0   1583.49   1070.12    117.14   6110.10      0.00      0.00      0.00      0.00
01:15:01         eth0   1559.56   4752.86    143.26   6227.32      0.00      0.00      0.07      5.10
01:15:01          br0   1558.31   1049.58    115.81   5975.08      0.00      0.00      0.00      0.00
01:25:01         eth0   1608.09   4880.88    143.13   6407.56      0.00      0.00      0.07      5.25
01:25:01          br0   1606.39   1075.15    114.74   6136.96      0.00      0.00      0.00      0.00
Average:         eth0   1587.97   4805.21    161.58   6298.99      0.00      0.00      0.07      5.16
Average:          br0   1575.93   1055.87    133.05   6037.69      0.00      0.00      0.00      0.00
[-n EDEV]
00:00:01        IFACE   rxerr/s   txerr/s    coll/s  rxdrop/s  txdrop/s  txcarr/s  rxfram/s  rxfifo/s  txfifo/s
00:05:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
00:05:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
00:15:02         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
00:15:02          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
00:25:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
00:25:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
00:35:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
00:35:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
00:45:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
00:45:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
00:55:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
00:55:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
01:05:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
01:05:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
01:15:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
01:15:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
01:25:01         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
01:25:01          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:         eth0      0.00      0.00      0.00      0.03      0.00      0.00      0.00      0.00      0.00
Average:          br0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00