S3 文件到本地使用 luigi 引发 UnicodeDecodeError

Question

我正在使用以下代码将pdf文件复制到本地：

with self.input_target().open('r') as r:
    with self.output_target().open('w') as w:
       for line in r: 
           w.write(line) 

这是基于这个问题（种类）

但是当我执行该代码时，我得到以下信息：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe2 in position 11:
      invalid continuation byte

我尝试了另一种方法，但没有很好的结果：

   with self.input_target().open('r') as r, self.output_target().open('w') as w:                                                                                                                        
       w.write(r.read())                         

正确的做法是什么？

Answer 1

似乎您正在处理一个二进制文件，就好像它是文本一样 - 但事实并非如此。 你可能需要做这样的事情：

with self.input().open('r') as i, self.output().open('w') as o:
    o.write(i.read())

（未测试！）

另外，我认为您可能会发现这个答案很有用： Python 编写二进制文件，字节

Answer 2

我结束了使用luigi.s3.S3Client和从/向s3复制二进制文件的方法get 。

代码片段：

进口路易吉

class ATask(luigi.Task):
    s3_path = luigi.Parameter()
    local_path = luigi.Parameter()
    ...

    def run(self):
        client = luigi.s3.S3Client()
        client.get(s3_path, local_path)  ## This gets the file
        ...

我认为根本原因是luigi使用boto从/向s3获取/放置文件。 （如您在源代码中所见）

Answer 3

另一种选择是使用格式 kwarg luigi.format.Nop 到 Target 来指示它是一个正在读取的二进制文件。

例如

def output(self):
    return LocalTarget(target, format=luigi.format.Nop)