awk多维数组案例多角度解决实战

32rwe111

1 2 3 4 5 6 7

版本：V1.1 问题提出者：python群友 问题是否解决：已解决 文档作者：悠久之翼(老男孩老师支持) 修改记录：2015-04-06 系统环境：Centos 6.6 （适合32bit and 64bit） 内核版本：2.6.32-504.el6.x86_64

问题描述：
以下是原文：来自网友的。
老男孩老师，你好：我要取如下数据：
1.单独第一列去重后的结果，这个我已做出来

awk '{count[$1]++}; END{for(name in count) print name,count[name]}' testfile.txt

2.取第一列和第二列同时去重后的wc–l 　，麻烦老师帮忙看下，谢谢！

统计后的结果格式如：000 2227  60

这是网友第一次提交给老男孩老师的问题。由于这些问题就是刚刚讲过的awk数组问题，正好交给学生练手！

下面是学生的完整分析，加上太多次的和老男孩的不断沟通，到底问题者想问什么问题

####蒙了吗？看下面分析吧。

数据文件如下：见本文附件

1 2 3 4 5 6 7 8 9 10 11 12 13 14

AYST002 010121012003771 AYST002 010121012003771 001 012345678912345 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012002696 AYST002 010121012003771 一共2万多行测试数据数据文件如下：见本文附件

分析这位网友最终想要的结果：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

0       2227    60 1       3880    4 4       53      2 014B002 6       2 014B004 202     2 014B010 1414    52 014B050 10      1 014B062 1276    36 014B090 53      6 014BA00 1367    13 20      34      7 40      6       4 600     1669    50 A0001   3245    18 ATM001  815     2 AYST001 254     7 AYST002 5451    156

继续问题分析

1．  上面问题实在让人费解，两天后终于想明白，他是什么问题è沟通代价太大，引以为戒。

2．  问题分析如下

3．  取得$1去重之后的计数

4．  $0去重之后，$1相同$2不同的个数（最后花了2天理解问题，哎~~，提问的人没说明白，我也没理解）

举例说明：如果没有理解看看下面的例子：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(nin array) print n,array[n]}' 11.txt|sort ##先进行$0去重，截取    000 c78f62db913017ea 18 000 e15cdefdc82edf20 25 000 e78dff28765d30fd 14 000 f636438c74685fcb 4 001 010121012002346 1 001 012345678912345 3646 001 015159014078175 1 001 1152 232 004 010121011079336 48 004 012345678912345 5 014B002 010121009019316 3 014B002 010121009201084 3 014B004 57e22bae43dfeafa 36 014B004 9e0647d809f4e31f 166 014B010 1c6bf2d598b3d9b5 69 014B010 2b6d303654a64ef3 6 014B010 2b742e4ee5aef95d 14    ##获得的结果：    一共出现的次数 $0去重后，以000开头$2不同的个数 000     18+25+14+4      4 001     1+3646          4 004     48+5            2 014B002 3+5             2 014B004 36+166          2 014B010 69+6+14         3 难理解的是最后一列：他是对$0去重后的$1相同 $2不同的，总共的可能性。配合我的例子，和结果理解就好了。

确定需求用了太久的时间，比解决问题时间长了很多！
解决方法：方法一简单粗暴：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37

[wxr@C66-test oldboy]$sort testfile.txt|uniq -c|awk -f sort_old.awk|sort 000     2227   60 001     3880   4 004     53     2 014B002 6       2 014B004 202     2 014B010 1414    52 014B050 10      1 014B062 1276    36 014B090 53      6 014BA00 1367    13 020     34     7 040     6      4 600     1669   50 A0001   3245   18 aim     total  singal_total ATM001  815    2 AYST001 254     7 AYST002 5451    156 Z0001   3      1 [wxr@C66-test oldboy]$cat sort_old.awk BEGIN{ print"aim""\t" "total" "\t""singal_total" } { array_count[$2]+=$1 if(array[$2] != $3) { count[$2]++ array[$2]=$3 }    } END{ for(n in count) printn"\t"array_count[n]"\t"count[n] }

方法二

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

只用awk [wxr@C66-test awk]$ awk '{array[$0]++}END{for(keyin array)print key,array[key]}' 11.txt|awk '{array_count[$1]+=$3;if(array[$1]!= $2) { count[$1]++;array[$1]=$2 }} END {for(n in count) printn"\t"array_count[n]"\t"count[n]}' Z0001  3       1 000    2227    60 ATM001 815     2 001    3880    4 014B062 1276   36 014B090 53     6 020    34      7 040    6       4 004    53      2 600    1669    50 014B010 1414   52 014B002 6      2 AYST001 254    7 AYST002 5451   156 014B004 202    2 014BA00 1367   13 A0001  3245    18 014B050 10     1

方法三：感谢老男孩老师给予高级AWK数组示例指导

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37

[wxr@C66-test awk]$ catsort_paste.awk { split($0,xarry,FS) one=xarry[1] two=xarry[2]    array_count[one]++    if(!((one,two) intree)){    tree[one,two]=1    count[one]++ } } END{ for(k in count){ printf("%16s %16s%16s \n",k,count[k],array_count[k])|"sort" } } [wxr@C66-test awk]$ awk-f sort_paste.awk 11.txt              000               60             2227              001                4             3880              004                2               53          014B002                2                6          014B004                2              202          014B010               52             1414          014B050                1               10          014B062               36             1276          014B090                6               53          014BA00               13             1367              020                7               34              040                4                6              600               50             1669            A0001               18            3245           ATM001                2              815          AYST001                7              254          AYST002              156             5451            Z0001                1                3

方法四：（同学穷酸书生）

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

[wxr@C66-test awk]$ awk'!array_check[$0]++{array[$1]++}{count[$1]++}END{for (n in array)printf("%16s %16s %16s\n",n,array[n],count[n])|"sort"}'11.txt             000               60             2227             001                4             3880              004                2               53         014B002                2                6         014B004                2              202         014B010               52             1414         014B050                1               10         014B062               36             1276         014B090                6               53         014BA00               13             1367             020                7               34             040                4                6             600               50             1669           A0001               18             3245          ATM001                2              815         AYST001                7              254         AYST002              156             5451           Z0001                1                3

小结：

1．  上面的还可以继续改进加上标题，BEGIN{}自由发挥吧。

2．  练习使用awk数组，理解数组下标就是个字符串。

解决后的答案很光鲜，看看背后的花絮吧。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272

老男孩 2015/4/6 17:24:16 不太好理解这位网友的意思 沟通成本太大了 你好好理解下 说明给我吧，然后老师指导你搞定， 你们学了awk数组了，这是练兵的最好机会，呵呵！ 21期学员-悠久之翼 2015/4/6 17:24:34 嗯是的。  我花了2天才理解。 [wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|sort |grep ^000 000 010121008040030 13 000 010121009642993 84 000 010121009794788 1 000 010121011000030 1 000 010121011079336 56 000 010121011153649 14 000 010121012000089 8 000 010121012002325 159 000 010121012002400 7 000 010121012002687 14 000 010121012002692 2 000 010121012002722 43 000 010121012003231 15 000 010121012003452 1 000 010121012003516 9 000 010121012003711 24 000 010121012003875 8 000 010121012003986 6 000 012345678912345 62 000 014421001000002 1 000 014444000015121 10 000 101211489913522 30 000 106552913112164 36 000 108112812133281 3 000 1151 1 000 117128150151313 13 000 121460828135981 33 000 157135111231073 33 000 1bad6941cfcd81a7 89 000 201213741313151 2 这是第一步 然后对他 wc -l   [wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|sort |grep ^000|wc -l 60 21期学员-悠久之翼 2015/4/6 17:26:31 是在$0 基础之上在统计数目。    21期学员-悠久之翼 2015/4/6 17:28:16 60是在对 $0 作为key 之后，再次进行统计。 老男孩 2015/4/6 17:31:24 你使用少量数据给出要的效果 不然 难以理解，几条数据说明问题，表达能力比技术更重要 21期学员-悠久之翼 2015/4/6 17:32:55 好的 21期学员-悠久之翼 2015/4/6 17:38:15 [wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|sort 先进行$0去重，截取 000 c78f62db913017ea 18 000 e15cdefdc82edf20 25 000 e78dff28765d30fd 14 000 f636438c74685fcb 4 001 010121012002346 1 001 012345678912345 3646 001 015159014078175 1 001 1152 232 004 010121011079336 48 004 012345678912345 5 014B002 010121009019316 3 014B002 010121009201084 3 014B004 57e22bae43dfeafa 36 014B004 9e0647d809f4e31f 166 014B010 1c6bf2d598b3d9b5 69 014B010 2b6d303654a64ef3 6 014B010 2b742e4ee5aef95d 14 获得的结果： 000    一共出现的次数 $0去重后，以000开头$2不同的个数 000    18+25+14+4      4 001    1+3646          4 004    48+5           2 014B002 3+5           2 014B004 36+166            2 014B010 69+6+14       3 老男孩 2015/4/6 17:42:53 以000开头$2不同的个数 $2是c78f62db913017ea 列？还是$3 21期学员-悠久之翼 2015/4/6 17:43:19 $2 老男孩 2015/4/6 17:43:20 你这个结果的第三列哪来的 老男孩 2015/4/6 17:44:15 明白了 21期学员-悠久之翼 2015/4/6 17:44:19 000 c78f62db913017ea 18 000 e15cdefdc82edf20 25 000 e78dff28765d30fd 14 000 f636438c74685fcb 4 000开头 $2 不同的个数 就是 $2 老男孩 2015/4/6 17:44:25 这是你理解的 还是人家真是这个意思 21期学员-悠久之翼 2015/4/6 17:44:35 这题不说明白很难理解。 老男孩 2015/4/6 17:44:46 是的 21期学员-悠久之翼 2015/4/6 17:44:49 我的理解 然后 我对比了 他的结果 看样子是对的。 21期学员-悠久之翼 2015/4/6 17:45:51 从结果看是这样的意思。 老男孩 2015/4/6 17:46:16 呵呵，聊天记录都保留，你说这理解别人的思想多难 自己不说清楚 就更难 21期学员-悠久之翼 2015/4/6 17:46:41 用数据说话才是王道。 老男孩 2015/4/6 17:46:43 我这时间有限啊，不喜欢猜别人的想法。这就是表达能力 21期学员-悠久之翼 2015/4/6 17:48:52 我会下次整理的更好 再问的。   老男孩 2015/4/6 17:50:19 你没搞定么，不难啊，可以两条awk，也可以多维数组，不过要awk编程了 21期学员-悠久之翼 2015/4/6 17:51:11 2条就简单了。我就想着一条。 老男孩 2015/4/6 17:51:46 别啊! 21期学员-悠久之翼 2015/4/6 17:51:46 sort uniq 换成awk|awk 就行了。 老男孩 2015/4/6 17:51:59 先来两条给个答案看看,事情都是一步步解决的。 一条就要多个数组，甚至多为数组了 21期学员-悠久之翼 2015/4/6 17:53:06 我就是纠结那个多维数组。 蒙了。。 老男孩 2015/4/6 17:53:14 你先分两条搞定，回头老师帮你实现一条的方法 一步步来，等你结果！ 21期学员-悠久之翼 2015/4/6 17:53:45 好的 老男孩 2015/4/6 17:54:28 2条搞定后 你自然可以多条搞定，我给你一个我以前写的awk多数组加函数的例子 接文件仔细看 21期学员-悠久之翼 2015/4/6 17:58:37 [wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|awk '{array_count[$1]+=$3;if(array[$1] != $2){count[$1]++;array[$1]=$3}}END{for (n in count)print n"\t"array_count[n]"\t"count[n]|"sort -n"}' 000     2227    60 A0001   3245    18 ATM001  815     2 AYST001 254     7 AYST002 5451    156 Z0001   3       1 001     3880    4 004     53      2 014B002 6       2 014B004 202     2 014B010 1414    52 014B050 10      1 014B062 1276    36 014B090 53      6 014BA00 1367    13 020     34      7 040     6       4 600     1669    50 21期学员-悠久之翼 2015/4/6 17:59:44 自己看着都晕。 老男孩 2015/4/6 18:01:48 哇，搞定了？ 对方已成功接收了您发送的离线文件“parse-awk例子老男孩教育案例.rar”(29.84KB)。 21期学员-悠久之翼 2015/4/6 18:02:52 是的 因为 两个awk 就是拼积木了。   第一个$0  第二个 $1 $2 计数 我之前做好的 改一下就能用。 21期学员-悠久之翼 2015/4/6 18:06:08 好东西。谢谢老师。 老男孩 2015/4/6 18:07:21 先2条搞定这个就可以了，接下来要AWK编程了 处理完不输出，继续处理。用我给你的例子 就可以了 21期学员-悠久之翼 2015/4/6 18:07:53 明白 那些函数的使用 很头痛。 老男孩 2015/4/6 18:08:58 思路清晰了 就简单了啊 接下来要AWK编程，处理完不输出，继续处理，直到得到最终结果再输出 这个搞定了 你AWK能力就 再运维层次里NO1了 21期学员-悠久之翼 2015/4/6 18:10:13 谢谢老师指点。 老男孩 2015/4/6 18:10:49 有思路没？现在 21期学员-悠久之翼 2015/4/6 18:13:19 有一点点   使用split把数据分块。 A   B    然后 A,B in array 查询 不存在就 count++ 理解到这里。 21期学员-悠久之翼 2015/4/6 18:15:22 之前我也这样想过 可是没办法实现。 现在可以尝试一下了。 谢谢老师。 21期学员-悠久之翼 2015/4/7 7:25:53 [wxr@C66-test awk]$ cat sort_paste.awk { split($0,xarry,FS) one=xarry[1] two=xarry[2] array_count[one]++ if(!((one,two) in tree)){    tree[one,two]=1    count[one]++ } } END{ for(k in count){ printf("%16s %16s %16s \n",k,count[k],array_count[k])|"sort" } } [wxr@C66-test awk]$ awk -f sort_paste.awk 11.txt              000               60             2227              001                4             3880              004                2               53          014B002                2                6          014B004                2              202          014B010               52             1414          014B050                1               10          014B062               36             1276          014B090                6               53          014BA00               13             1367              020                7               34              040                4                6              600               50             1669            A0001               18             3245           ATM001                2              815          AYST001                7              254          AYST002              156             5451            Z0001                1                3 百度云附件：testfile.rar