web日志文件统计分析、netstat 命令行统计分析

1. web日志内容 ---文件形式

root@h111:/var/log/nginx# cat access.log192.168.1.3 - - [04/Feb/2018:19:59:42 +0800] "GET / HTTP/1.1" 200 396 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36"192.168.1.3 - - [04/Feb/2018:19:59:43 +0800] "GET /favicon.ico HTTP/1.1" 404 208 "http://192.168.1.111/" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36"192.168.1.3 - - [04/Feb/2018:19:59:54 +0800] "GET /png HTTP/1.1" 404 208 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36"192.168.1.3 - - [04/Feb/2018:19:59:58 +0800] "GET /a.jpg HTTP/1.1" 404 208 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36"192.168.1.3 - - [04/Feb/2018:20:06:56 +0800] "GET /a.jpg HTTP/1.1" 404 208 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36"

1.1 用awk处理

其中$7是文件名，$10是大小。 $[$7]+=$10表示 同一个文件名大小累加。awk数组也可以当python字典来理解。

++b[$7] 即同名文件次数累加。

root@h111:/var/log/nginx# awk '{a[$7]+=$10;++b[$7];total+=$10}END{for(x in a)print b[x],x,a[x]}'  access.log         1 /png 2082 /a.jpg 4161 / 3961 /favicon.ico 208

1.2 用python处理

这里利用了Counter，不用处理首次为0的赋值可以直接累加。累加方法和awk基本一致。

#/usr/bin/env python3#author infaaffrom collections import Counterc=Counter()s=Counter()with open('netstat.txt') as f:    for line in f:        key=line.split()[6]        value=line.split()[9]        c[key]+=1        s[key]+=int(value)print("次数:  %s"%c)print("大小:  %s"%s)for i in c:    print(i.center(30),c[i],s[i])

结果

2. tcp状态统计 --- 命令与管道形式

其中tcp6与tcp一起统计

2.1 awk处理

NF表示 number of filed 由于number累计到最后，即表示最后一列。

（awk中 N number F field R row S split ，如RS=row split ，NR= number of row 行号）

root@h111:~# netstat -an | awk '/^tcp/{++s[$NF]}END{for(i in s){print i,s[i]}}'LISTEN 6ESTABLISHED 1

2.2 python处理

这里 未使用Counter，判断当key未出现过时，需要手动初始化为1。

这里接收linux stdout 的管道形式，利用了fileinput库

文件net.py

#!/usr/bin/env python3import fileinputd={}for line in fileinput.input():    if line.split()[0].startswith('tcp'):        key=line.split()[5]        if key in d:            d[key]+=1        else:            d[key]=1print(d)##默认值方法二，在累加前， d.setdefault(key,0)

服务器上管道调用 net.py

说明： 2种方法实际思想相同，利用（awk数组或python字典） 字典方式

awk胜在短小精悍。复杂情况下，语句复杂。 awk语法复杂，长时间不使用容易忘记。。。