Linux三剑客之awk命令

1310阅读　0评论2021-05-24　iibull
分类：其他平台


点击(此处)折叠或打开

  1. https://www.cnblogs.com/ginvip/p/6352157.html
  2. AWK 为三位创始人的缩写.
  3. AWK 程序设计语言, 定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。

  5. awk 是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华，如 C 语言等。

  7. 使用方法
  8. awk '{pattern + action}' {filenames}

  10. pattern 表示 AWK 在数据中查找的内容，pattern就是要表示的正则表达式，用斜杠括起来。
  11. action 是在找到匹配内容时所执行的一系列命令。
  12. {}不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。
  13. 花括号用于将几块代码组合到一起

  15. awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。

  17. 通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。

点击(此处)折叠或打开

  1. # awk -F":" '{print $0}' /etc/passwd
  2. $0 为一整行  root:x:0:0:root:/root:/bin/bash
  3. $1 为 root  $2为x  FS:字段分隔符  NF为字段数量 NR 为记录(行数)的数量.
  4. -F参数：指定分隔符，可指定一个或多个


点击(此处)折叠或打开

  1. # awk '{if(NR>=20 && NR<=30) print $1}' test.txt

  3. 只查看test.txt文件（100行）内第20到第30行的内容


  6. # awk -F '[ ,]+' '{print $3" "$7}' test.txt
  7. 设定多个分隔符, 然后打印 并以空格分隔.


点击(此处)折叠或打开

  1. BEGIN 和 END 模块

  3. 对于每个输入行， awk 都会执行每个脚本代码块一次
  4. awk 在开始处理输入文件之前会执行 BEGIN 块，因此它是初始化 FS（字段分隔符）变量、打印页眉或初始化其它在程序中以后会引用的全局变量的极佳位置。

  6. awk 在处理了输入文件中的所有行之后执行 END块, END 块用于执行最终计算或打印应该出现在输出流结尾的摘要信息。

  8. # awk 'BEGIN {count=0;print "[start] user count is ",count} {count=count+1;print $0} END{print "[end] user count is ",count}' passwd
  9. 统计/etc/passwd的账户人数, count 为自定义变量.
  10.  
  11. # ll |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ",size}'
  12. 统计某个文件夹下的文件占用的字节数



点击(此处)折叠或打开

  1. awk 赋值运算符：a+5;等价于： a=a+5;其他同类
  2. # awk 'BEGIN{a=5;a+=5;print a}'

  4. # awk 'BEGIN{a=1;b=2;print (a>2&&b>1,a=1||b>1)}'
  5. awk逻辑运算符, 返回 0 1

  7. # awk 'BEGIN{a="100testaa";if(a~/100/) {print "ok"}}'
  8. 返回 ok a变量 ~匹配 包含/100/.
  9. # echo|awk 'BEGIN{a="100testaaa"}a~/test/{print "ok"}'
  10. 返回ok


  13. 关系运算符：
  14. 如： > < 可以作为字符串比较，也可以用作数值比较，关键看操作数如果是字符串就会转换为字符串比较。两个都为数字 才转为数值比较。字符串比较：按照ascii码顺序比较。

  16. awk 算术运算符：
  17. 说明，所有用作算术运算符进行操作，操作数自动转为数值，所有非数值都变为0。


  20. 三目运算符 ?:
  21. # awk 'BEGIN{a="b";print a=="b"?"ok":"err"}'
  22. ok



点击(此处)折叠或打开

  1. 字段分隔符 FS
  2. FS="\t" 一个或多个 Tab 分隔

  4. FS="[[:space:]+]" 一个或多个空白空格, 为默认情况
  5. FS="[" ":]+" 以一个或多个空格或：分隔


  8. 字段数量 NF
  9. # awk -F ":" 'NF==8{print $0}' hello.txt


  12. 记录数量 NR
  13. # ifconfig eth0|awk -F [" ":]+ 'NR==2{print $4}' ## NR==2也就是取第2行


  16. RS 记录分隔符变量.
  17. 将 FS 设置成"\n"告诉 awk 每个字段都占据一行。通过将 RS 设置成""，还会告诉 awk每个地址记录都由空白行分隔


  20. [root@Gin scripts]# cat recode.txt
  21. Jimmy the Weasel
  22. 100 Pleasant Drive
  23. San Francisco,CA 123456
  24.  
  25. Big Tony
  26. 200 Incognito Ave.
  27. Suburbia,WA 64890
  28. [root@Gin scripts]# cat awk.txt ## 代码块
  29. #!/bin/awk
  30. BEGIN {
  31.         FS="\n"
  32.         RS=""
  33. }
  34. {
  35.         print $1","$2","$3
  36. }
  37. [root@Gin scripts]# awk -f awk.txt recode.txt
  38. Jimmy the Weasel,100 Pleasant Drive,San Francisco,CA 123456
  39. Big Tony,200 Incognito Ave.,Suburbia,WA 64890


  42. OFS 输出字段分隔符
  43. [root@Gin scripts]# cat hello.txt
  44. root:x:0:0:root:/root:/bin/bash
  45. bin:x:1:1:bin:/bin:/sbin/nologin:888
  46. [root@Gin scripts]# awk 'BEGIN{FS=":"}{print $1","$2","$3}' hello.txt
  47. root,x,0
  48. bin,x,1
  49. [root@Gin scripts]# awk 'BEGIN{FS=":";OFS="#"}{print $1,$2,$3}' hello.txt
  50. root#x#0
  51. bin#x#1


  54. ORS 输出记录分隔符
  55. [root@Gin scripts]# cat recode.txt
  56. Jimmy the Weasel
  57. 100 Pleasant Drive
  58. San Francisco,CA 123456
  59.  
  60. Big Tony
  61. 200 Incognito Ave.
  62. Suburbia,WA 64890
  63. [root@Gin scripts]# cat awk.txt
  64. #!/bin/awk
  65. BEGIN {
  66.         FS="\n"
  67.         RS=""
  68.         ORS="\n\n"
  69. }
  70. {
  71.         print $1","$2","$3
  72. }
  73. [root@Gin scripts]# awk -f awk.txt recode.txt
  74. Jimmy the Weasel,100 Pleasant Drive,San Francisco,CA 123456
  75.  
  76. Big Tony,200 Incognito Ave.,Suburbia,WA 64890


点击(此处)折叠或打开

  1. 正则应用
  2. 规则表达式

  4. awk '/REG/{action} ' file

  6. /REG/为正则表达式，可以将$0 中，满足条件的记录送入到：action 进行处理

  8. # awk '/root/{print $0}' passwd ##匹配所有包含root的行

  10. # awk -F: '$5~/root/{print $0}' passwd ## 以分号作为分隔符，匹配第5个字段是root的行

  12. # ifconfig eth0|awk 'BEGIN{FS="[[:space:]:]+"} NR==2{print $4}'



  16. 布尔表达式
  17. awk '布尔表达式{action}' file 仅当对前面的布尔表达式求值为真时， awk 才执行代码块。
  18. # awk -F: '($1=="root")&&($5=="root") {print $0}' passwd

  20. awk 的 if、循环和数组

  22. {
  23.         if ($1=="foo"){
  24.                 if($2=="foo"){
  25.                         print "uno"
  26.                 }else{
  27.                         print "one"
  28.                 }
  29.         }elseif($1=="bar"){
  30.                 print "two"
  31.         }else{
  32.                 print "three"
  33.         }
  34. }


  37. 同样的 ! /matchme/ { print $1 $3 $4 } 可以转换为
  38. {
  39. 　　if ( $0 !~ /matchme/ ) {
  40. 　　　　print $1 $3 $4
  41. 　　}
  42. }


  45. 循环结构 do while.

  47.   {
  48.     count=1
  49.     do {
  50.         print "I get printed at least once no matter what"
  51.     } while ( count !=1 )
  52.   }


  55. for 循环
  56. for ( initial assignment; comparison; increment ) {
  57.     code block
  58. }
  59. 例如
  60. for ( x=1;x<=4;x++ ) {
  61.     print "iteration", x
  62. }



  66. break 和 continue
  67. #break 语句示例
  68. x=1
  69. while(1) {
  70. 　　print "iteration", x
  71. 　　if ( x==10 ) {
  72. 　　　　break
  73. 　　}
  74. 　　x++
  75. }

  77. x=1
  78. while (1) {
  79.         if ( x==4 ) {
  80.         x++
  81.         continue
  82.     }
  83.     print "iteration", x
  84.     if ( x>20 ) {
  85.         break
  86.     }
  87.     x++
  88. }


  91. 数组
  92. AWK 中的数组都是关联数组,数字索引也会转变为字符串索引

  94. {
  95.     cities[1]=”beijing”
  96.     cities[2]=”shanghai”
  97.     cities[“three”]=”guangzhou”
  98.     for( c in cities) {
  99.         print cities[c]
  100.     }
  101.     print cities[1]
  102.     print cities[“1”]
  103.     print cities[“three”]
  104. }
  105. for…in 输出，因为数组是关联数组，默认是无序的。所以通过 for…in 得到是无序的数组


  108. 数组的典型应用
  109. 用 awk 中查看服务器连接状态并汇总
  110. netstat -an|awk '/^tcp/{++s[$NF]}END{for(a in s)print a,s[a]}'
  111. ESTABLISHED 1
  112. LISTEN 20

  114. 或者
  115. awk '{a[$7]+=$10;++b[$7];total+=$10}END{for(x in a)print b[x],x,a[x]|"sort -rn -k1";print
  116. "total size is :"total}' /app/log/access_log
  117. total size is :172230
  118. 21 /icons/poweredby.png 83076
  119. 14 / 70546
  120. 8 /icons/apache_pb.gif 18608
  121. a[$7]+=$10 表示以第 7 列为下标的数组（ $10 列为$7 列的大小），把他们大小累加得到
  122. $7 每次访问的大小，后面的 for 循环有个取巧的地方， a 和 b 数组的下标相同，所以一
  123. 条 for 语句足矣


点击(此处)折叠或打开

  1. 替换

  3. awk 'BEGIN{info="this is a test2010test!";gsub(/[0-9]+/,"!",info);print info}' this is a
  4. 在 info 中查找满足正则表达式， /[0-9]+/ 用”!”替换，并且替换后的值，赋值给 info 未
  5. 给 info 值，默认是$0

  7. 查找
  8. awk 'BEGIN{info="this is a test2010test!";print index(info,"test")?"ok":"no found";}'
  9. ok #未找到，返回 0

  11. 匹配查找
  12. awk 'BEGIN{info="this is a test2010test!";print match(info,/[0-9]+/)?"ok":"no found";}'
  13. ok #如果查找到数字则匹配成功返回 ok，否则失败，返回未找到

  15. 截取
  16. awk 'BEGIN{info="this is a test2010test!";print substr(info,4,10);}'
  17. s is a tes #从第 4 个 字符开始，截取 10 个长度字符串

  19. 分割
  20. awk 'BEGIN{info="this is a test";split(info,tA," ");print length(tA);for(k in tA){print k,tA[k];}}'
  21. 4 4 test 1 this 2 is 3 a
  22. #分割 info,动态创建数组 tA,awk for …in 循环，是一个无序的循环。 并不是从数组下标 1…n 开始



上一篇：linux 三剑客之 sed 命令
下一篇：linux 三剑客之 grep 命令