如何在使用 python 的 Spark SQL 作业中避免 \r\n？

Question

我有数百个 yaml 文件和 Hive 查询，我正在使用我编写的 python 脚本迁移到SparkSQL 。 我的目标是让SprkSQL查询格式正确，因此我在SparkSQL查询中保留了制表符（ \t ）、空格和新行（ \n ）字符。

问题是当我提交此代码时，我收到以下错误（图片）。 我可以通过用空格替换\r\n来解决这个问题，但这会影响格式，因为整个代码将在单行中。 我正在寻找一些可靠的方法来处理我的代码中的\r\n而不会影响格式。

我的解决方法：

1. 当我用空格替换\r\n字符时，它工作正常，但没有格式化。
2. 当我使用tr -d '\r' < input > output然后得到如下错误 \n

 Parsing Error [line 5]: '(\n' [line 46]: ')\n'

我花费大量时间手动调试每个文件并寻找一些可以自动化我的过程的想法。

Answer 1

使用 \ 在下一行显示文本的延续