用于验证csv字段的Shell脚本

Question

我有一个包含20个字段的csv文件。 我想要一个脚本，根据以下几点检查文件是否有效：

• 它需要有20个用管道分隔的字段。
• 20个字段中的每个字段都应匹配一个正则表达式。
• 知道任何正则表达式不匹配的行号和字段号。

例如：

f1|f2|f3|...|f20
1|aaaa|Y|...|2014/06/25
2|bb|Y...|2014/06/25
3|ccc|N...|2014/06/25

regex:
f1 [0-9]
f2 [a-z]{2,4}
f3 [YN]
.
.
.
f20 [1-9][0-9][0-9][0-9]-[0-1][0-9]-[0-3][0-9]

什么是最好的Shell工具？ 你有类似的脚本吗？

Answer 1

在Unix系统中最好的工具就是awk这项工作。 您可以像这样使用awk命令：

awk 'BEGIN{FS=OFS="|"} NF!=20{print "not enough fields"; exit}
!($1~/^[0-9]$/) {print "1st field invalid"; exit}' file.csv

Answer 2

您可能要考虑为此使用perl脚本：

#!/usr/bin/env perl

use strict;
use warnings;

my @regexes = (
    qr/\d/,                  # regex quotes qr/ /
    qr/[a-z]{2,4}/, 
    qr/[YN]/,
    #etc. put the rest of the regexes here
);

while (<>) {                 # loop through every line of file
    my @fields = split /\|/; # split on pipe, needs escaping
    if (@fields != 20) {
        print "incorrect number of fields on line $.\n";
        exit;
    }
    for my $f (0..$#fields) { # loop through all fields
        unless ($fields[$f] =~ $regexes[$f]) { # regex match
            print "invalid field on line $., field ", ($f+1), "\n";
            exit;
        }
    }
}

如果将脚本另存为valid.pl并使其可执行chmod +x valid.pl ，则可以像./valid.pl filename一样调用它。 当前，脚本将在遇到第一个问题后立即退出。 如果删除exit语句，它将列出该文件的所有问题。

如果您不熟悉perl， $. 是一个特殊变量，其中包含while循环中的行号。 $#fields是数组@fields的最后一个索引的值，因此0..$#fields等于列表0,1，...，19。 数组索引从0开始，因此我在字段编号中添加了1。