如何在使用 python 的 Spark SQL 作業中避免 \r\n？

Question

我有數百個 yaml 文件和 Hive 查詢，我正在使用我編寫的 python 腳本遷移到SparkSQL 。 我的目標是讓SprkSQL查詢格式正確，因此我在SparkSQL查詢中保留了制表符（ \t ）、空格和新行（ \n ）字符。

問題是當我提交此代碼時，我收到以下錯誤（圖片）。 我可以通過用空格替換\r\n來解決這個問題，但這會影響格式，因為整個代碼將在單行中。 我正在尋找一些可靠的方法來處理我的代碼中的\r\n而不會影響格式。

我的解決方法：

1. 當我用空格替換\r\n字符時，它工作正常，但沒有格式化。
2. 當我使用tr -d '\r' < input > output然后得到如下錯誤 \n

 Parsing Error [line 5]: '(\n' [line 46]: ')\n'

我花費大量時間手動調試每個文件並尋找一些可以自動化我的過程的想法。

Answer 1

使用 \ 在下一行顯示文本的延續