单元测试：使用 Python 模拟运行“aws s3 同步”的子进程

Question

我的项目需要定期下载不少文件，然后才能对它们进行处理。 我尝试直接在 Python 中对其进行编码，但考虑到存储桶中的数据量，它的速度非常慢。

我决定使用运行aws-cli的子boto3因为boto3仍然没有同步功能。 我知道在aws-cli使用子流程并不理想，但它确实很有用，并且开箱即用。

aws-cli的aws-cli是我可以看到stdout的进度，我通过以下代码获得：

def download_bucket(bucket_url, dir_name, dest):
"""Download all the files from a bucket into a directory."""
path = Path(dest) / dir_name
bucket_dest = str(os.path.join(bucket_url, dir_name))
with subprocess.Popen(["aws", "s3", "sync", bucket_dest, path], stdout=subprocess.PIPE, bufsize=1, universal_newlines=True) as p:
    for b in p.stdout:
        print(b, end='')

if p.returncode != 0:
    raise subprocess.CalledProcessError(p.returncode, p.args)

现在，我想确保我测试了这个功能，但我在这里被阻止了，因为：

1. 我不知道测试这种怪异行为的最佳方法：
   • 我真的应该创建一个假的本地 s3 存储桶，以便aws s3 sync可以命中它吗？
   • 我应该模拟子进程调用而不是实际调用我的download_bucket函数吗？

到目前为止，我的尝试是创建一个假存储桶并将其传递给我的 download_bucket 函数。 这样，我认为aws s3 sync仍然可以工作，尽管是在本地：

def test_download_s3(tmpdir):
tmpdir.join(f'frankendir').ensure()
with mock_s3():
    conn = boto3.resource('s3', region_name='us-east-1')
    conn.create_bucket(Bucket='cool-bucket.us-east-1.dev.000000000000')

    s3 = boto3.client('s3', region_name="us-east-1")
    s3.put_object(Bucket='cool-bucket.us-east-1.dev.000000000000', Key='frankendir', Body='has no files')

    body = conn.Object('cool-bucket.us-east-1.dev.000000000000', 'frankendir').get()[
        'Body'].read().decode("utf-8")

    download_bucket('s3://cool-bucket.us-east-1.dev.000000000000', 'frankendir', tmpdir)

    #assert tmpdir.join('frankendir').join('has not files').exists()
    assert body == 'has no files'

但我收到以下错误fatal error: An error occurred (InvalidAccessKeyId) when calling the ListObjects operation: The AWS Access Key Id you provided does not exist in our records.

我的问题如下：

1. 我应该继续创建一个假的本地 s3 存储桶吗？
   • 如果是这样，我应该如何使凭据起作用？
2. 我应该只是模拟子进程调用吗？
   • 我很难理解模拟是如何工作的以及它应该如何完成。 根据我的理解，我只会假调用aws s3 sync并返回一些文件？
3. 是否还有另一种我没有想到的单元测试就足够了？
   • 毕竟，我只想知道当我传输格式正确的s3://bucketurl 、该存储桶中的dir和local dir ， s3://bucketurl/dir中包含的文件是否会下载到我的local dir .

谢谢你的帮助，我希望我不是到处都是。

Answer 1

更好的方法是在伪造/测试 s3 时使用moto 。 您可以查看他们的文档或查看我所做的测试代码示例： https : //github.com/pksol/pycon-go-beyond-mocks/blob/main/test_s3_fake.py 。

如果你有几分钟的时间，你可以观看我解释使用 moto 与尝试模拟的好处的这个简短视频。