使用 shell 脚本从 CSV 文件中删除空格和新行，并将其保存在相同或不同的文件中

Question

我正在导入一个 CSV 文件并使用 shell 脚本（.sh 文件）将文件中的详细信息保存到数据库中

在 CSV 文件中，一列包含多个图像 URL，并以“|”分隔。 但细节有空格和换行符。 我需要删除相同的内容并在没有换行符的情况下上传数据库中的详细信息。

列中的值如下所示，

http:///url/385924/pictures/THIRDPARTY|http://url/385924/pict
ures/THIRDPARTY|http://url/385924/pictures/b2af65b2-4d12-45dd-87a8- 
0ebc0c32c8e8-THIRDPARTY|http://url/THIRDPARTY|http://url.windo
ws.net/pictures/85eb568b-7908-49b2-9d91-4f762077323b- 
THIRDPARTY|http://url/vehicles/385924/THIRDPARTY

我需要它没有空格和新行

http:///url/385924/pictures/THIRDPARTY|http://url/385924/pictures/THIRDPARTY|http://url/385924/pictures/2af65b2-4d12-45dd-87a8-0ebc0c32c8e8-THIRDPARTY|http://url/THIRDPARTY|http://url.windows.net/pictures/85eb568b-7908-49b2-9d91-4f762077323b-THIRDPARTY|http://url/vehicles/385924/THIRDPARTY

我的代码如下，

FILE1="/filepath/file.csv
File2 = "/filepath/newfile.csv"
sed ':a;N;$!ba;s/\n//g' $FILE1 > '/filepath to new file/newfile.csv'
FILE2="/filepath to new file/newfile.csv'"

mysql -u username -ppassword database name  -Bse "LOAD DATA LOCAL INFILE '"$FILE2"' INTO TABLE tablename FIELDS TERMINATED BY ',' ENCLOSED BY '\"' LINES TERMINATED BY '\r\n' IGNORE 1 LINES (@ignore ,id,imagename,@ignore ,@ignore  ,@ignore ,@ignore ,@ignore ,@ignore ,@ignore);"

仅使用sed ':a;N;$!ba;s/\\n//g' $FILE1 ，在终端中，我正在获取 CSV 文件中没有空格和换行符的数据。 如果我用':a;N;$!ba;s/\\n/---/g'替换了':a;N;$!ba;s/\\n//g' ':a;N;$!ba;s/\\n/---/g'它也反映在终端。 结果未保存在当前 CSV 文件中或保存在新 CSV 文件中。

如何执行 sed 操作，然后将其保存在同一个 CSV 文件或新的 CSV 文件中，并在LOAD DATA LOCAL INFILE使用它。

任何帮助都非常感谢。

Answer 1

为什么不使用这个？

sed -z 's/ *\n//g' yourfile

-z选项允许您编辑文件，因为它是一行。