awk

一、awk相关理论

1.1 概述

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作

数据可以来自标准输入也可以是管道或文件

20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk

之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

1.2 工作原理

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理，而awk比较、倾向于将一行分成多个\"“字段\"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符” &&“表示\"与”、“||表示\"或”、\"!“表示非”;还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出
如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次

1.3 命令格式

awk选项’模式或条件{操作}\'文件1文件2 …
awk -f 脚本文件 文件1 文件2 …

格式：awk关键字 选项 命令部分 ‘{xxxx}’ 文件名

awk 包含几个特殊的内建变量（可直接用）如下所示：

RS∶ 行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是’\\n’

1.4awk常用小命令

  #删除temp文件的重复行
  awk \'!($0 in array) { array[$0]; print }\' temp

 #查看最长使用的10个unix命令
 awk \'{print $1}\' ~/.bash_history | sort | uniq -c | sort -rn | head -n 10

 #查看机器的ip列表
 ifconfig -a | awk \'/Bcast/{print $2}\' | cut -c 5-19

#查看机器的每个远程链接机器的连接数
netstat -antu | awk \'$5 ~ /[0-9]:/{split($5, a, \":\"); ips[a[1]]++} END {for (ip in ips) print ips[ip], ip |   \"sort -k1 -nr\"}\'

#查看某个进程打开的socket数量
ps aux | grep [process] | awk \'{print $2}\' | xargs -I % ls /proc/%/fd | wc -l


#查看无线网络的ip
sudo ifconfig wlan0 | grep inet | awk \'NR==1 {print $2}\' | cut -c 6-

#批量重命名文件
find . -name \'*.jpg\' | awk \'BEGIN{ a=0 }{ printf \"mv %s name%01d.jpg\\n\", $0, a++ }\' | bash

#查看某个用户打开的文件句柄列表
for x in `ps -u 500 u | grep java | awk \'{ print $2 }\'`;do ls /proc/$x/fd|wc -l;done

#计算文件temp的第一列的值的和
awk \'{s+=$1}END{print s}\' temp

#查看最常用的命令和使用次数
history | awk \'{if ($2 == \"sudo\") a[$3]++; else a[$2]++}END{for(i in a){print a[i] \" \" i}}\' |  sort -rn | head

#查找某个时间戳的文件列表
cp -p `ls -l | awk \'/Apr 14/ {print $NF}\'` /usr/users/backup_dir

#格式化输出当前的进程信息
ps -ef | awk -v OFS=\"\\n\" \'{ for (i=8;i<=NF;i++) line = (line ? line FS : \"\") $i; print NR \":\", $1, $2, $7, line, \"\"; line = \"\" }\'

#查看输入数据的特定位置的单个字符
echo \"abcdefg\"|awk \'BEGIN {FS=\"\'\'\"} {print $2}\'

 #打印行号
ls | awk \'{print NR \"\\t\" $0}\'

#打印当前的ssh 客户端
netstat -tn | awk \'($4 ~ /:22\\s*/) && ($6 ~ /^EST/) {print substr($5, 0, index($5,\":\"))}\'

#打印文件第一列不同值的行
awk \'!array[$1]++\' file.txt

#打印第二列唯一值
 awk \'{ a[$2]++ } END { for (b in a) { print b } }\' file

#查看系统所有分区
awk \'{if ($NF ~ \"^[a-zA-Z].*[0-9]$\" && $NF !~ \"c[0-9]+d[0-9]+$\" && $NF !~ \"^loop.*\") print \"/dev/\"$NF}\'  /proc/partitions

#查看2到100所有质数
for num in `seq 2 100`;do if [ `factor $num|awk \'{print $2}\'` == $num ];then echo -n \"$num \";fi done;echo

#查看第3到第6行
awk \'NR >= 3 && NR <= 6\' /path/to/file

#逆序查看文件
awk \'{a[i++]=$0} END {for (j=i-1; j>=0;) print a[j--] }\'

#打印99乘法表
seq 9 | sed \'H;g\' | awk -v RS=\'\' \'{for(i=1;i<=NF;i++)printf(\"%dx%d=%d%s\", i, NR, i*NR, i==NR?\"\\n\":\"\\t\")}\'

1.5 awk的一些小案例

1.5.1 打印文本内容

awk可以将自动将多个空格压缩成一个空格

打印字符串需要加双引号

案例1：打印磁盘已经使用情况

[rootlocalhost.localdomain~]# df | awk \'{print $5}\'
已用%
 4%
0%
0%
1%
0%
15%
1%
0%

[rootlocalhost.localdomain~]# awk \'{print \"root\"}\' /etc/passwd
root
root
root
root
root
root
root
root
root
root
[rootlocalhost.localdomain~]# awk \'{print \"root\"}\' /etc/passwd | wc -l   统计多少行root
34

1.5.2 根据$n提取字段

提取IP地址，Mac地址，结合sed命令

[rootlocalhost.localdomain~]# ifconfig ens33 | sed -n \'2p\'|awk \'{print $2}\'
192.168.161.122
[rootlocalhost.localdomain~]# ifconfig ens33
ens33: flags=4163  mtu 1500
    inet 192.168.161.122  netmask 255.255.255.0  broadcast 192.168.161.255
    inet6 fe80::e19a:510f:9bb7:e679  prefixlen 64  scopeid 0x20
    ether 00:0c:29:2b:72:20  txqueuelen 1000  (Ethernet)
    RX packets 9003  bytes 1325955 (1.2 MiB)
    RX errors 0  dropped 0  overruns 0  frame 0
    TX packets 5917  bytes 930016 (908.2 KiB)
    TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[rootlocalhost.localdomain~]# ifconfig ens33 | sed -n \'4p\'|awk \'{print $2}\'
00:0c:29:2b:72:20

1.5.3 根据选项-F指定分隔符

打印单列

[rootlocalhost.localdomain~]# cat /etc/passwd |awk -F\":\" \'{print $1}\'
root
bin
daemon
adm
lp
sync
shutdown

打印多列内容
打印时逗号可以表示空格，如果使用“：”或者“+”，需要将特殊符号加上双引号当成字符串打印

[rootlocalhost.localdomain~]# cat /etc/passwd | awk -F\":\" \'{print $1+$2}\'
0
0
0
0
0
[rootlocalhost.localdomain~]# cat /etc/passwd | awk -F\":\" \'{print $1\"+\"$2}\'  ##加分隔符打印多列
root+x
bin+x
daemon+x
adm+x
lp+x
[rootlocalhost.localdomain~]# cat /etc/passwd | awk -F\":\" \'{print $1,$2}\'  ##不加分隔符进行打印多列
root x
bin x
daemon x
adm x
lp x
sync x
shutdown x
halt x
mail x

打印磁盘已经使用情况，去除%

[rootlocalhost.localdomain~]# df|awk -F\"[ %]+\" \'{print $5}\'|sed -n \"1,3p\"
已用
4
0
[rootlocalhost.localdomain~]# df|awk \'{print $5}\'|awk -F% \'{print $1}\'|sed -n \"1,3p\"
已用
4
0
[rootlocalhost.localdomain~]# df |awk -F\"( |%)+\" \'{print $5}\' |sed -n \"1,3p\"
已用
4
0

1.6 使用BEGIN输出包含指定字符的行并统计有多行

BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作;

awk再处理指定的文本，之后再执行END模式中指定的动作；

END{ } 语句块中，往往会放入打印结果等语句。

示例：
统计打印出/bin/bash结尾的数目

[rootlocalhost.localdomain~]# awk \'BEGIN {x=0};/\\/bin\\/bash$/;{x++};END{print x}\' /etc/passwd
root:x:0:0:root:/root:/bin/bash
zhangsan:x:1000:1000::/home/zhangsan:/bin/bash
zhou:x:1001:1001::/home/zhou:/bin/bash

1.7 FS∶ 列分割符提取列

[rootlocalhost.localdomain~]# awk -v FS=: \'{print $1FS$3}\' /etc/passwd
root:0
bin:1
daemon:2
adm:3
lp:4

1.8 NF∶当前处理的行的字段个数

[rootlocalhost.localdomain~]# cat /etc/passwd |awk -F: \'{print NF}\'
7
7
7
7

打印出每段最后一个字符

 [rootlocalhost.localdomain~]#cat /etc/passwd |awk -F: \'{print $NF}\'
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin

打印出倒数第二行

 [rootlocalhost.localdomain~]#cat /etc/passwd |awk -F: \'{print $(NF-1)}\'  ##倒数第一行减一为倒数第二行
/root
/bin
/sbin
/var/adm

1.9 NR： 当前处理的行的行号

[rootlocalhost.localdomain~]# awk -F\":\" \'{print $1,NR}\' /etc/passwd  ##序号在后
root 1
bin 2
daemon 3
adm 4
lp 5
sync 6
[rootlocalhost.localdomain~]# awk -F\":\" \'{print NR\"\\t\"$1}\' /etc/passwd    ##序号在前
1	root
2	bin
3	daemon
4	adm
5	lp
6	sync
7	shutdown

NR==n代表行号等于什么

[rootlocalhost.localdomain~]# awk -F: \'NR==2 {print $1}\' /etc/passwd
bin

总结
通过sed 与awk的配合可以更好的查找到我们想要的数据