如何从文本文件中删除包含特定字符串的所有行？

Question

我将如何使用 sed 删除包含特定字符串的文本文件中的所有行？

Answer 1

要删除该行并将输出打印到标准输出：

sed '/pattern to match/d' ./infile

直接修改文件 – 不适用于 BSD sed：

sed -i '/pattern to match/d' ./infile

相同，但对于 BSD sed（Mac OS X 和 FreeBSD）——不适用于 GNU sed：

sed -i '' '/pattern to match/d' ./infile

直接修改文件（并创建备份）——适用于 BSD 和 GNU sed：

sed -i.bak '/pattern to match/d' ./infile

Answer 2

除了sed之外，还有许多其他方法可以删除具有特定字符串的行：

AWK

awk '!/pattern/' file > temp && mv temp file

红宝石 (1.9+)

ruby -i.bak -ne 'print if not /test/' file

珀尔

perl -ni.bak -e "print unless /pattern/" file

Shell（bash 3.2 及更高版本）

while read -r line
do
  [[ ! $line =~ pattern ]] && echo "$line"
done <file > o
mv o file

GNU grep

grep -v "pattern" file > temp && mv temp file

当然还有sed （打印逆比实际删除快）：

sed -n '/pattern/!p' file

Answer 3

您可以使用 sed 替换文件中的适当行。 但是，它似乎比使用 grep 将反向转换为第二个文件然后将第二个文件移动到原始文件上要慢得多。

例如

sed -i '/pattern/d' filename      

或者

grep -v "pattern" filename > filename2; mv filename2 filename

无论如何，第一个命令在我的机器上花费的时间要长 3 倍。

Answer 4

使用 GNU sed的简单方法：

sed --in-place '/some string here/d' yourfile

Answer 5

您可以考虑使用ex （这是一个标准的基于 Unix 命令的编辑器）：

ex +g/match/d -cwq file

在哪里：

• +执行给定的 Ex 命令（ man ex ），与-c执行wq相同（写入和退出）
• g/match/d - Ex 命令删除具有给定match ，请参阅： g 的幂

上面的示例是一种符合 POSIX 标准的方法，用于根据Unix.SE 上的这篇文章和POSIX 规范针对ex就地编辑文件。

---

与sed的区别在于：

sed是S- tream ED itor，而不是一个文件编辑器。 ^{Bash常见问题解答}

除非您喜欢不可移植的代码、I/O 开销和其他一些不良副作用。 所以基本上一些参数（例如 in-place/ -i ）是非标准的 FreeBSD 扩展，可能在其他操作系统上不可用。

Answer 6

我在 Mac 上为此苦苦挣扎。 另外，我需要使用变量替换来完成。

所以我使用了：

sed -i '' "/$pattern/d" $file

其中$file是需要删除的文件， $pattern是要匹配删除的模式。

我从这个评论中选择了'' 。

这里要注意的是在"/$pattern/d"使用双引号。 当我们使用单引号时，变量将不起作用。

Answer 7

你也可以使用这个：

 grep -v 'pattern' filename

这里-v将仅打印您的模式以外的内容（这意味着反转匹配）。

Answer 8

我用一个包含大约 345 000 行的文件做了一个小的基准测试。 在这种情况下，使用grep的方式似乎比使用sed方式快 15 倍左右。

我已经尝试过使用和不使用 LC_ALL=C 设置，它似乎没有显着改变时间。 搜索字符串 (CDGA_00004.pdbqt.gz.tar) 位于文件中间的某个位置。

以下是命令和时间：

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

Answer 9

要使用grep获得类似结果，您可以执行以下操作：

echo "$(grep -v "pattern" filename)" >filename

Answer 10

SED：

• '/James\\|John/d'
• -n '/James\\|John/!p'

AWK：

• '!/James|John/'
• /James|John/ {next;} {print}

GREP：

• -v 'James\\|John'

Answer 11

perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

第一个命令就地编辑文件 (-i)。

第二个命令执行相同的操作，但通过将 .bk 添加到文件名（.bk 可以更改为任何内容）来保留原始文件的副本或备份。

Answer 12

您还可以删除文件中的一系列行。 例如删除 SQL 文件中的存储过程。

sed '/CREATE PROCEDURE.*/,/END ;/d' sqllines.sql

这将删除 CREATE PROCEDURE 和 END 之间的所有行；。

我用这个 sed 命令清理了许多 sql 文件。

Answer 13

echo -e "/thing_to_delete\\ndd\\033:x\\n" | vim file_to_edit.txt

Answer 14

以防万一有人想对字符串进行精确匹配，您可以在 grep -w中使用-w标志作为整体。 也就是说，例如，如果您想删除编号为 11 的行，但保留编号为 111 的行：

-bash-4.1$ head file
1
11
111

-bash-4.1$ grep -v "11" file
1

-bash-4.1$ grep -w -v "11" file
1
111

如果您想一次排除几个确切的模式，它也可以与-f标志一起使用。 如果“黑名单”是一个每行都有多个模式的文件，您要从“文件”中删除：

grep -w -v -f blacklist file

Answer 15

cat filename | grep -v "pattern" > filename.1
mv filename.1 filename

Answer 16

在控制台中显示处理过的文本

cat filename | sed '/text to remove/d' 

将处理过的文本保存到文件中

cat filename | sed '/text to remove/d' > newfile

将处理过的文本信息附加到现有文件中

cat filename | sed '/text to remove/d' >> newfile

处理已经处理过的文本，在这种情况下，删除已删除内容的更多行

cat filename | sed '/text to remove/d' | sed '/remove this too/d' | more

| more | more将一次以一页为单位显示文本。

Answer 17

奇怪的是，接受的答案实际上并没有直接回答问题。 该问题询问使用 sed 替换字符串，但答案似乎预设了如何将任意字符串转换为正则表达式的知识。

许多编程语言库都有执行这种转换的功能，例如

python: re.escape(STRING)
ruby: Regexp.escape(STRING)
java:  Pattern.quote(STRING)

但是如何在命令行上做到这一点呢？

由于这是一个面向 sed 的问题，一种方法是使用 sed 本身：

sed 's/\([\[/({.*+^$?]\)/\\\1/g'

因此，给定一个任意字符串 $STRING，我们可以编写如下内容：

re=$(sed 's/\([\[({.*+^$?]\)/\\\1/g' <<< "$STRING")
sed "/$re/d" FILE

或作为单线：

 sed "/$(sed 's/\([\[/({.*+^$?]\)/\\\1/g' <<< "$STRING")/d" 

与本页其他地方所述的变化。

Answer 18

从所有匹配匹配的文件中删除行

grep -rl 'text_to_search' . | xargs sed -i '/text_to_search/d'

Answer 19

您可以使用 good old ed以与使用ex的答案类似的方式编辑文件。 在这种情况下，最大的区别在于ed通过标准输入获取命令，而不是像ex那样作为命令行参数。 在脚本中使用它时，通常的适应方法是使用printf将命令传递给它：

printf "%s\n" "g/pattern/d" w | ed -s filename

或使用heredoc：

ed -s filename <<EOF
g/pattern/d
w
EOF

Answer 20

我发现大多数答案对我没有用，如果您使用 vim，我发现这非常简单明了：

:g/<pattern>/d

来源