S3 文件到本地使用 luigi 引發 UnicodeDecodeError

Question

我正在使用以下代碼將pdf文件復制到本地：

with self.input_target().open('r') as r:
    with self.output_target().open('w') as w:
       for line in r: 
           w.write(line) 

這是基於這個問題（種類）

但是當我執行該代碼時，我得到以下信息：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe2 in position 11:
      invalid continuation byte

我嘗試了另一種方法，但沒有很好的結果：

   with self.input_target().open('r') as r, self.output_target().open('w') as w:                                                                                                                        
       w.write(r.read())                         

正確的做法是什么？

Answer 1

似乎您正在處理一個二進制文件，就好像它是文本一樣 - 但事實並非如此。 你可能需要做這樣的事情：

with self.input().open('r') as i, self.output().open('w') as o:
    o.write(i.read())

（未測試！）

另外，我認為您可能會發現這個答案很有用： Python 編寫二進制文件，字節

Answer 2

我結束了使用luigi.s3.S3Client和從/向s3復制二進制文件的方法get 。

代碼片段：

進口路易吉

class ATask(luigi.Task):
    s3_path = luigi.Parameter()
    local_path = luigi.Parameter()
    ...

    def run(self):
        client = luigi.s3.S3Client()
        client.get(s3_path, local_path)  ## This gets the file
        ...

我認為根本原因是luigi使用boto從/向s3獲取/放置文件。 （如您在源代碼中所見）

Answer 3

另一種選擇是使用格式 kwarg luigi.format.Nop 到 Target 來指示它是一個正在讀取的二進制文件。

例如

def output(self):
    return LocalTarget(target, format=luigi.format.Nop)