三十分钟学会 AWK
#长按上图识别二维码，参与OSC源创会年终盛典#
本文将会持续修正和更新，最新内容请参考我的 上的 项目，欢迎 Star。
AWK是一门解释型的编程语言。在文本处理领域它是非常强大的，它的名字来源于它的三位作者的姓氏：Alfred Aho， Peter Weinberger 和 Brian Kernighan。
GNU/Linux发布的AWK目前由自由软件基金会（FSF）进行开发和维护，通常也称它为 GNU AWK。
AWK的类型
下面是几个AWK的变体：
AWK - 原先来源于 AT & T 实验室的的AWK
NAWK - AT & T 实验室的AWK的升级版
GAWK - 这就是GNU AWK。所有的GNU/Linux发布版都自带GAWK，它与AWK和NAWK完全兼容
AWK的典型用途
使用AWK可以做很多任务，下面是其中一些
文本处理
输出格式化的文本报表
执行算数运算
执行字符串操作等等
要成为AWK编程专家，你需要先知道它的内部实现机制，AWK遵循了非常简单的工作流 - 读取，执行和重复，下图描述了AWK的工作流。
Read
AWK从输入流（文件，管道或者标准输入）中读取一行，然后存储到内存中。
Execute
所有的AWK命令都依次在输入上执行。默认情况下，AWK会对每一行执行命令，我们可以通过提供模式限制这种行为。
Repeat
处理过程不断重复，直到到达文件结尾。
程序结构
现在，让我们先学习一下AWK的程序结构。
BEGIN 语句块
BEGIN语句块的语法
BEGIN语句块在程序开始的使用执行，它只执行一次，在这里可以初始化变量。BEGIN是AWK的关键字，因此它必须为大写，注意，这个语句块是可选的。
BODY 语句块
BODY语句块的语法
BODY语句块中的命令会对输入的每一行执行，我们也可以通过提供模式来控制这种行为。注意，BODY语句块没有关键字。
END 语句块
END语句块的语法
END语句块在程序的最后执行，END是AWK的关键字，因此必须为大写，它也是可选的。
让我们创建一个包含序号，学生姓名，科目名称和得分的文件 marks.txt。
下面的例子中我们将会显示文件内容，并且添加每一列的标题
上述代码执行后，输出以下内容
在程序的开始，AWK在BEGIN语句中打印出标题。然后再BODY语句中，它会读取文件的每一行然后执行AWK的print命令将每一行的内容打印到标准输出。这个过程会一直重复直到文件的结尾。
AWK的使用非常简单，我们可以直接在命令行中执行AWK的命令，也可以从包含AWK命令的文本文件中执行。
AWK命令行
我们可以使用单引号在命令行中指定AWK命令
比如我们有一个包含下面内容的文本文件 marks.txt:
我们可以使用下面的命令显示该文件的完整内容
AWK程序文件
我们可以使用脚本文件提供AWK命令
首先，创建一个包含下面内容的文本文件 command.awk
现在，我们可以让AWK执行该文件中的命令，这里我们实现了和上例同样的结果
AWK标准选项
AWK支持下列命令行标准选项
-v 变量赋值选项
该选项将一个值赋予一个变量，它会在程序开始之前进行赋值，下面的例子描述了该选项的使用
--dump-variables[=file] 选项
该选项会输出排好序的全局变量列表和它们最终的值到文件中，默认的文件是 awkvars.out。
--help 选项
打印帮助信息。
--lint[=fatal] 选项
该选项允许检查程序的不兼容性或者模棱两可的代码，当提供参数 fatal的时候，它会对待Warning消息作为Error。
--posix 选项
该选项开启严格的POSIX兼容。
--profile[=file]选项
该选项会输出一份格式化之后的程序到文件中，默认文件是 awkprof.out。
--traditional 选项
该选项会禁止所有的gawk规范的扩展。
--version 选项
输出版本号
基本使用示例
本部分会讲述一些有用的AWK命令和它们的使用示例，所有的例子都是以下面的文本文件 marks.txt 为基础的
打印某列或者字段
AWK可以只打印输入字段中的某些列。
在文件marks.txt中，第三列包含了科目名，第四列则是得分，上面的例子中，我们只打印出了这两列，$3 和 $4代表了输入记录中的第三和第四个字段。
打印所有的行
默认情况下，AWK会打印出所有匹配模式的行
上述命令会判断每一行中是否包含a，如果包含则打印该行，如果BODY部分缺失则默认会执行打印，因此，上述命令和下面这个是等价的
打印匹配模式的列
当模式匹配成功时，默认情况下AWK会打印该行，但是也可以让它只打印指定的字段。例如，下面的例子中，只会打印出匹配模式的第三和第四个字段。
任意顺序打印列
统计匹配模式的行数
打印超过18个字符的行
内建变量
AWK提供了很多内置的变量，它们在开发AWK脚本的过程中起着非常重要的角色。
标准AWK变量
ARGC 命令行参数个数
命令行中提供的参数个数
ARGV 命令行参数数组
存储命令行参数的数组，索引范围从0 - ARGC - 1。
CONVFMT 数字的约定格式
代表了数字的约定格式，默认值是%.6g
ENVIRON 环境变量
环境变量的关联数组
FILENAME 当前文件名
FS 输入字段的分隔符
代表了输入字段的分隔符，默认值为空格，可以通过-F选项在命令行选项中修改它。
NF 字段数目
代表了当前行中的字段数目，例如下面例子打印出了包含大于两个字段的行
NR 行号
FNR 行号（相对当前文件）
与NR相似，不过在处理多文件时更有用，获取的行号相对于当前文件。
OFMT 输出格式数字
默认值为%.6g
OFS 输出字段分隔符
输出字段分隔符，默认为空格
ORS 输出行分隔符
默认值为换行符
RLENGTH
代表了 match 函数匹配的字符串长度。
RS 输入记录分隔符
RSTART
match函数匹配的第一次出现位置
SUBSEP 数组子脚本的分隔符
数组子脚本的分隔符，默认为\034
$ 0 代表了当前行
代表了当前行
$n
当前行中的第n个字段
GNU AWK的变量
ARGIND
当前被处理的ARGV的索引
BINMODE
在非POSIX系统上指定对所有的文件I/O采用二进制模式。
ERRORNO
一个代表了getline跳转失败或者是close调用失败的错误的字符串。
FIELDWIDTHS
设置了空格分隔的字段宽度变量列表的话，GAWK会将输入解析为固定宽度的字段，而不是使用FS进行分隔。
IGNORECASE
设置了这个变量的话，AWK会忽略大小写。
LINT
提供了对--lint选项的动态控制。
PROCINFO
包含进程信息的关联数组，例如UID，进程ID等
TEXTDOMAIN
代表了AWK的文本域，用于查找字符串的本地化翻译。
操作符
与其它编程语言一样，AWK也提供了大量的操作符。
算数操作符
算数操作符不多说，直接看例子，无非就是+-*/%
增减运算符
自增自减与C语言一致。
赋值操作符
关系操作符
逻辑操作符
三元操作符
一元操作符
指数操作符
字符串连接操作符
数组成员操作符
正则表达式操作符
正则表达式操作符使用 ~ 和 !~ 分别代表匹配和不匹配。
更多关于正则表达式请看后面的正则表达式部分
正则表达式
AWK在处理正则表达式方面是非常强大的，使用简单的正则表达式可以处理非常复杂的问题。
数组
AWK支持关联数组，也就是说，不仅可以使用数字索引的数组，还可以使用字符串作为索引，而且数字索引也不要求是连续的。数组不需要声明可以直接使用，语法如下：
创建数组的方式非常简单，直接为变量赋值即可
删除数组元素使用delete语句
在AWK中，只支持一维数组，但是可以通过一维数组模拟多维，例如我们有一个3x3的三维数组
可以这样操作
流程控制
流程控制语句与大多数语言一样，基本格式如下
例如：
循环
循环操作与其他C系语言一样，主要包括 for，whlie，do...while，break，continue 语句，当然，还有一个 exit语句用于退出脚本执行。
例子：
exit用于退出脚本，参数为退出的状态码，可以通过shell中的$?获取
函数
内建函数
AWK提供了很多方便的内建函数供编程人员使用。由于函数比较多，个人觉得单纯看每个函数的使用也没有什么实际意义，比较容易遗忘，因此，这里只简单的列出常用的一些函数，只需要对其有个印象即可，使用的时候再去 效果会更好一些吧。
数学函数
atan2(y, x)
cos(expr)
exp(expr)
int(expr)
log(expr)
rand
sin(expr)
sqrt(expr)
srand([expr])
字符串函数
asort(arr [, d [, how] ])
asorti(arr [, d [, how] ])
gsub(regex, sub, string)
index(str, sub)
length(str)
match(str, regex)
split(str, arr, regex)
sprintf(format, expr-list)
strtonum(str)
sub(regex, sub, string)
substr(str, start, l)
tolower(str)
toupper(str)
时间函数
systime
mktime(datespec)
strftime([format [, timestamp[, utc-flag]]])
字节操作函数
and
compl
lshift
rshift
or
xor
其它
close(expr) 关闭管道文件
请看下面这段代码
是不是感觉很难懂？让我来解释一下
第一个语句cmd = "tr [a-z] [A-Z]"是我们在AWK中要用来建立双向连接的命令。
第二个语句print提供了tr命令的输入，使用 &| 表名建立双向连接。
第三个语句close(cmd, "to")用于执行完成后关闭to进程
第四个语句cmd |& getline out使用getline函数存储输出到out变量
接下来打印变量out的内容，然后关闭cmd
delete 用于删除数组元素
exit 退出脚本执行，并返回状态码参数
fflush
getline 该命令让awk读取下一行内容
该命令让awk读取下一行内容，比如
使用getline var < file可以从file中读取输入，存储到变量var中
命令的输出也可以通过管道输入到getline，使用command | getline这种方式。在这种情况下，字符串命令会作为shell命令执行，其标准输出会通过管道传递个awk作为其输入，这种形式的getline会从管道中一次读取一条记录。例如下面的命令会从输入中逐行读取，如果遇到@execute，则将该行作为命令执行，将命令的输出作为最终的输出内容
如果文件包含以下内容
则会输出
使用command | getline var可以实现将命令的输出写入到变量var。
getline使用管道读取输入是一种单向的操作，在某些场景下，你可能希望发送数据到另一个进程，然后从这个进程中读取处理后的结果， 这就用到了协同进程，我们可以使用|&打开一个双向管道。
同样，我们也可以使用command |& getline var将协同进程的输出写入到变量var。
next
nextfile
return
用于用户自定义函数的返回值。 首先，创建一个functions.awk文件，包含下面的awk命令
执行上述代码，输出
system
该函数用于执行指定的命令并且返回它的退出状态，返回状态码0表示命令成功执行。
用户自定义函数
函数是程序基本的组成部分，AWK允许我们自己创建自定义的函数。一个大型的程序可以被划分为多个函数，每个函数之间可以独立的开发和测试，提供可重用的代码。
下面是用户自定义函数的基本语法
例如，我们创建一个名为functions.awk的文件，包含下面的代码
执行上述代码，会得到下面的输出
输出重定向
重定向操作符
到目前为止，我们所有的程序都是直接显示数据到了标准输出流，其实，我们也可以将输出重定向到文件。重定向操作符跟在print和printf函数的后面，与shell中的用法基本一致。
例如，下面两条命令输出是一致的
与shell中一样，>用于将输出写入到指定的文件中，如果文件中有内容则覆盖，而>>则为追加模式写入。
管道
除了将输出重定向到文件之外，我们还可以将输出重定向到其它程序，与shell中一样，我们可以使用管道操作符|。
AWK中可以使用|&进行双向连接，那么什么是双向连接呢？一种常见的场景是我们发送数据到另一个程序处理，然后读取处理结果，这种场景下就需要打开一个到另外一个进程的双向管道了。第二个进程会与gawk程序并行执行，这里称其为 协作进程。与单向连接使用|操作符不同的是，双向连接使用|&操作符。
第一次I/O操作使用了|&操作符，gawk会创建一个到运行其它程序的子进程的双向管道，print的输出被写入到了subprogram的标准输入，而这个subprogram的标准输出在gawk中使用getline函数进行读取。
注意：目前协同进程的标准错误输出将会和gawk的标准错误输出混杂在一起，无法单独获取标准错误输出。另外，I/O缓冲可能存在问题，gawk程序会自动的刷新所有输出到下游的协同进程的管道。但是，如果协同进程没有刷新其标准输出的话，gawk将可能会在使用getline函数从协同进程读取输出的时候挂起，这就可能引起死锁。
我们可以使用close函数关闭双向管道的to或者from一端，这两个字符串值告诉gawk发送数据到协同进程完成时或者从协同进程读取完毕时关闭管道。在使用系统命令sort的时候是这样做是非常必要的，因为它必须等所有输出都读取完毕时才能进行排序。
例如，下面的例子中使用tr命令转换小写为大写。我们的command.awk文件包含以下内容
输出
上例看起来有些复杂，我们逐行分析一下
首先，第一行 cmd = "tr [a-z] [A-Z]" 是在AWK中要建立双向连接的命令
第二行的print命令用于为tr命令提供输入，而 |& 用于指出要建立双向连接
第三行用于在上面的语句close(cmd, "to"),在执行完成后关闭其to进程
第四行 cmd |& getline out使用getline函数存储输出到变量out中
最后一行使用close函数关闭命令
到目前为止，我们已经使用过print和printf函数显示数据到标准输出，但是printf函数实际上要比我们之前使用的情况更加强大得多。该函数是从C语言中借鉴来的，在处理格式化的输出时非常有用。
格式化输出标识有 %c， %d，%s 等，基本与C语言一致，这里就不多赘述了。
执行shell命令
在AWK中执行shell命令有两种方式
使用system函数
使用管道
使用system函数
system函数用于执行操作系统命令并且返回命令的退出码到awk。
使用管道
如果要执行的命令很多，可以将输出的命令直接用管道传递给"/bin/sh"执行
参考
本文将会持续修正和更新，最新内容请参考我的 上的 项目，欢迎 Star。
推荐阅读
点击标题直接进入阅读
文章介绍几款最新开源和近期有重大变动的区块链相关项目，让大家进一步了解区块链。
pndao是我们团队在使用的MyBatis增强工具，它可以根据一些方法约定，自动生成SQL。它在实际生产中减少了80%以上的重复SQL编写工作。
年末之际OSC源创会将来到广州，与各位OSCer在秋末相约，我们一如既往秉承着“自由、开放、分享”的思想，为大家献上满满的干货主题~