使用 sed(1) 在 UNIX 命令行上使用 CVS 文件解析器，可以吗？

Question

在 UNIX 命令行上，我们可以使用简单的字段分隔符（或字段分隔符）来完成简单的面向记录的文件工作。 常见的分隔符是空格、制表符或竖线，但任何字符都可以作为分隔符。 命令sort 、 join 、 cut等都将字段分隔符作为选项 -t 或 -d，并且 shell（再次 bourne 或 bourne）接受 IFS 环境变量，用于read -a命令将一行解析为数组或set --命令将一行解析为特殊的命令行参数变量$0 , $1 , ....

简单的字段分隔符方法很容易，唯一需要注意的是分隔符不会出现在数据本身中。 理想情况下根本没有。 这可以用于特定的数据集，但它不能在一般情况下工作。 这就是为什么在 UNIX shell 和 C 语言（以及 C++、Java）上，反斜杠转义序列有时用于将此类分隔符标记为数据的一部分（例如，典型的\\_当您的文件名带有空格时。但这不是记录和面向字段的命令（例如排序、剪切和连接）所支持的任何方式。

现在，我们经常会下载“逗号分隔值”(CSV) 文件，这种格式显然源自 Windows 世界。 其中逗号用作分隔符（通常是一个错误的选择，因为逗号很可能出现在实际数据值中），而不是转义序列，如果数据字段可能包含逗号，则在数据字段周围使用双引号（甚至空格）。 然后在这样的引用值中，如果引用是值的一部分，则通过将其加倍""来“转义"" 。

现在我正在寻找将 CSV 文件转换为简单分隔文件的最简单方法。 可以选择数据中没有出现的任何分隔符。

困难在于 CSV 引用规则需要一个非常简单的有状态解析器。 您在引用值的内部或外部。 如果在里面，则需要将重复的引号""读为引号。

我在这里找不到最佳答案，在一般的互联网搜索中，我找到了一些东西，但它们不正确或使用了太多工具。

让我们把它变成一场比赛。 在 bourne shell 或 bash 上单独运行 sed（可能还有 grep 和 tr）的最简单和优雅的单行程序赢得了公认的答案。 如果结果更优雅并且不依赖于一种特殊版本的 AWK，则允许使用 AWK。 Perl 是不允许的，也不是 C 程序。

我当然会尝试我自己的答案。

更新：那些甚至不理会 sed 并向右移动到 awk 的人显然具有优势。 如果有人能在 sed 中优雅地做到这一点，他们将成为赢家。 我自己在 sed 中的尝试并不优雅。

我发现 CSV 文件可能在引用的字段中包含换行符。 这是需要考虑的。 由于我们正在尝试为 UNIX shell 处理创建一个简单的记录和字段格式，因此这些嵌入的换行符应该转换为 \\n。

PS：有人问：为什么是“单线”。 它不必是严格的单行，重点是您可以在命令行上创建它。 为什么不是 Perl？ 因为大多数 UNIX 系统都带有 shell 和 sed 和 awk，但是需要安装 Perl（并且有所有这些不同的版本），对于 Python 来说相同或更糟。 在我使用 Perl 或 Python 之前，我只会用 C 编写它。不，我们不想要任何语言，它应该在裸机 UNIX 设置上运行，而无需安装一堆东西。

Answer 1

我的（第一个？）方法是根据以下大纲：

1. 确定最佳的字段分隔符（delimiter）字符；
2. 用数据中不存在的其他字符A 的一些（序列）替换所选分隔符的（少数）出现；
3. 用\\n替换引号内的任何嵌套换行符；
4. 将重复的引号""替换为数据中不存在的其他字符B 的一些（序列）；
5. 用数据中不存在的一些（序列）其他字符C替换嵌套在引用字段中的逗号；
6. 删除引用字段周围的引号（即，删除所有剩余的引号，因为不应该有任何剩余）；
7. 用选定的分隔符替换剩余的逗号；
8. 用单双引号替换重复双引号的替换（序列）字符B
9. 用逗号替换引号内的逗号的替换（序列）字符C。

这就对了。 步骤 2、3 和 4 是取决于确定未出现在文件中任何位置的字符序列的步骤。 那可能是~~ 、 ^^或$$或任何东西。 所以这是通过一系列测试来确定的。 例如：

fgrep '|' data.csv

并且只找到少量点击，我现在替换 | 使用$$因为我确定$$根本不会发生：

fgrep '$$' data.csv

以同样的方式，我确定替换重复的双引号"" ，比如用^^和嵌套在引号内的逗号，我将用##替换。

现在我有了我需要的数据。 有了这个，上面的计划几乎完成了：

sed <data.csv \
 -e 's/|/$$/g' \
 -e ???????????????? \
 -e 's/""/^^/g' \
 -e 's/???????/???????/g' \
 -e 's/"//g' \
 -e 's/,/|/g' \
 -e 's/^^/"/g' \
 -e 's/##/,/g'

您可以在每个 sed 命令的一行中看到每个编号的步骤 2 到 9。 所以这一切都非常清楚。 除了第 3 步和第 5 步用????????````, the hardest of them all, to replace line breaks and commas nested inside the quotes with the chosen replacement \\n and $$``` ????????````, the hardest of them all, to replace line breaks and commas nested inside the quotes with the chosen replacement 。

我该怎么做？ 我需要一个正则表达式（sed 实际上可以做到），它将带引号的字符串中的逗号替换为其他内容，并且不会混淆引号。

如果我们想要做的只是完全删除带引号的字符串，我们可以说

 -e 's/,"[^"]*",/,REMOVED,/g' \

相反，我这样做：

 -e 's/,"\([^,"]*\),\([^"]*\)",/,"\1##\2",/g'

这将替换它一次。 我现在可以多次重复相同的 sed 命令步骤以捕获具有多个嵌套逗号的情况：

 -e 's/,"\([^,"]*\),\([^"]*\)",/,"\1##\2",/g'
     -e 's/,"\([^,"]*\),\([^"]*\)",/,"\1##\2",/g'
     -e 's/,"\([^,"]*\),\([^"]*\)",/,"\1##\2",/g'
     -e 's/,"\([^,"]*\),\([^"]*\)",/,"\1##\2",/g'
     ...

问题是我不知道我需要多久更换一次。 但是我们可以使用 sed 的一个更高级的特性：定义一个标签，然后在进行替换时跳转回标签：

:c
s/,"\([^,"]*\),\([^"]*\)",/,"\1##\2",/g
tc

定义标签“a”，并在进行替换时跳转到标签。 或者简而言之在一行上：

:c;s/,"\([^,"]*\),\([^"]*\)",/,"\1##\2",/g;tc

最后，用类似的技巧将引号内由换行符分隔的行连接起来：

-e ':n;$!N;s/,"\([^"]*\)\n/,"\1\\n/g;tn'

这里唯一的额外技巧是$!N ，它是$最后一行， $! 除了最后一行， N将下一行附加到模式空间，以便正则表达式可以搜索换行符 \\n 并将其替换为文字\\n 。

LANG=C sed <data.csv \
 -e 's/|/$$/g' \
 -e ':n;$!N;s/,"\([^"]*\)\n/,"\1\\n/g;tn' \
 -e 's/""/^^/g' \
 -e ':c;s/,"\([^,"]*\),\([^"]*\)"/,"\1##\2",/g;tc' \
 -e 's/"//g' \
 -e 's/,/|/g' \
 -e 's/\^\^/"/g' \
 -e 's/##/,/g'

因此，与我在此答案的第一个修订版中所采用的方法相比，这现在是一种非常简洁的方法（请参阅以前的版本，了解它现在有多好）。

PS 可能还有错误。 特别是我目前不允许我引用的值出现在第一个字段中，现在开头的引号"只能在逗号​​之后识别。

Answer 2

从 vanilla awk CSV 标记器开始： https : //www.gnu.org/software/gawk/manual/html_node/Splitting-By-Content.html

用单引号替换带引号的字符串中的双引号的小修改。

#! /usr/bin/awk -f
BEGIN {
    FPAT = "([^,]+)|(\"[^\"]+\")"
    OFS = "|"
    Q = "\""
}

{
    for (i = 1; i <= NF; i++) {
        v = $i
        if ( $i ~ Q ) v = gensub(Q Q, Q, "g", substr(v, 2, length(v)-2))
        printf "%s%s", v, (i<NF?OFS:ORS)
    }
}

我仍在努力将它压缩成一个衬垫......这将是一条很长的线:-)。

???

Answer 3

替代解决方案，逐个字符处理，保持状态（z-inside 引用字符串）。 不用说，它假设输入遵循上述规则。

不确定这是否符合单线资格。 约 200 个字符。

#! /usr/bin/awk -f
BEGIN {
        Q="\""
        FS=","
        OFS="|"
}

{
        n=split($0,a,"")
        r=""
        for (i=1;i<=n;i++ ) {
                c=a[i]
                if (c==Q) if(a[i+1]==Q) i++ ; else { z=!z ; c="" } ; if (!z&&c==FS) { c=OFS }
                r = r c
        }
        print r
}