如果下一行少于一定长度，请删除文本文件中的换行符

Question

我想创建一个包含bash，sed，awk或perl任意组合的脚本，如果下一行的长度小于特定长度，该脚本将删除该行的换行符。 假设我们要删除下一行少于5个字符的换行符。 如果我们有此源文本文件：

hi hi hi hi hi
bye
fun fun fun fun fun
batman
shirt shirt shirt
pants pants pants
belt
paper paper paper

这是所需的输出：

hi hi hi hi hibye
fun fun fun fun fun
batman
shirt shirt shirt
pants pants pantsbelt
paper paper paper

这是一个脚本，用于标识所有少于5个字符的行：

cat source.txt | awk 'length($0) < 5 { print NR }'

它返回这个。

2
7

这是一个删除换行符的脚本（这是前一个脚本的行号减去一个）：

perl -pe 'chomp if $.==1||$.==6' source.txt

如何结合这两个脚本？ 还是有更好的方法来解决这个问题？

更新资料

有多个正确答案（有些在我的Mac上不起作用，但我认为它们在其他计算机上也可以工作）。 这是在我的计算机上用769,811行CSV文件（40,000行删除了换行符）后，正确答案的时间。

• Ed Morton的awk解决方案：23.7秒
• 狼吞虎咽地狼叫狼：4.5秒
• John1024的解决方案无法在我的Mac上运行（但认为它可以在其他操作系统上运行）
• ikegami的perl不声：7分钟后杀死了任务

Answer 1

与生活中一样，在软件中，根据发生的事情而不是根据发生的事情来做事情要容易得多。 如果NEXT行包含Y，不要认为需要执行X，如果CURRENT行包含Y，则认为需要执行Z，那么解决方案总是简单而明显的，例如：

$ cat tst.awk
NR>1{ printf "%s%s", prev, (length() < 5 ? "" : ORS) }
{ prev = $0 }
END{ print prev }

$ awk -f tst.awk file
hi hi hi hi hibye
fun fun fun fun fun
batman
shirt shirt shirt
pants pants pantsbelt
paper paper paper

在上面，如果当前行的长度是5或更大，我们将打印换行符。 它很简单明了，并且可以在任何UNIX机器上的任何Shell中使用任何awk。

Answer 2

perl -p0777e "s{\r?\n(?=.{0,5}$)}{}mg" test.txt

输出

hi hi hi hi hibye
fun fun fun fun fun
batman
shirt shirt shirt
pants pants pantsbelt
paper paper paper

[好吧，我花了2分钟来写一线，花了一个小时来解释。 ]

解释如下：

开关：

-p读取输入文件的每一行，为每行运行-e指定的代码，并打印变量$_ （由-e代码修改）

-0[octal number] -输入行分隔符； 如果我们指定0777，则整个文件将被视为一行并立即读取

-l从结尾\\n剥离输入行，将output line separator设置为等于input line separator 。 （我删除了它，因为这里实际上不需要它了）

现在正则表达式：

s{\r?\n(?=.{0,5}$)}{}mg

s{pattern}{replacement} -在变量$_搜索pattern并将其replacement

模式部分：

\\r?\\n匹配每个换行符。 对于Unix， \\n就足够了， \\r? -Windows下旧版本的perl可能需要CR的可选匹配。 其实我认为\\r? 也可以删除。

(?=pattern) -的正先行匹配pattern ，零宽度匹配，那就是它不消耗的字符。

.{0,5}$ -匹配从零到五个以结尾的字符

s{}{}运算符修饰符： m多行匹配，使$匹配在文本中\\n 之前的所有位置出现，而不仅是在行尾。 g全局匹配，替换文本中的每个匹配项。

最后，如何运作：

Perl抓取整个文件（ -0777 ）和（ -p ），然后搜索\\r?\\n每个-0777 ，后跟不超过5个非换行符和一个换行符： (?=.{0,5}$) 。
每次出现都由空字符串{}代替。

我想我已经很清楚了。

其他信息可以从以下perldoc perlre获得： perldoc perlre ， perldoc perlop ， perldoc perlrun 。

Answer 3

如果要避免拖延，而要向前看，通常的解决方案是缓冲尽可能多的行。 在这种情况下一个。

perl -ne'
   chomp;
   if (length >= 5) {
      print "$buf\n";
   } else {
      print $buf;
   }

   $buf .= $_;

   END { print "$buf\n" if defined $buf; }
'

在这种情况下，您可以执行以下操作：

perl -pe'chomp; print "\n" if length >= 5 && $. > 1; END { print "\n" if $. }'

这两种解决方案都处理在最后一行没有换行的输入。

请参阅指定要处理的文件以Perl单线进行使用。

Answer 4

sed也适用于以下简单替换：

$ sed -E ':a; N; s/\n(.{,4})$/\1/; ba' source
hi hi hi hi hibye
fun fun fun fun fun
batman
shirt shirt shirt
pants pants pantsbelt
paper paper paper

这个怎么运作：

• :a

  这定义了标签a 。

• N

  这将读取下一行，并将其（使用换行符）附加到模式空间的当前内容。

• s/\\n(.{,4})$/\\1/

  如果换行符出现在当前行末尾前4个字符内，则删除换行符

• ba

  如果上述替换命令导致该行发生更改，请跳回到标签a 。

BSD / MacO

上面用GNU sed测试过。 对于BSD / macOS sed，请尝试：

sed -E -e :a -e N -e 's/\n(.{,4})$/\1/' -e ba source

Answer 5

您可以尝试使用此sed（在OpenBSD上可以）

sed -e '$b' -e 'N;/\n...../{P;D' -e '};y/\n/ /;s/ \([^ ]*$\)/\1/' infile