Elasticsearch 和 S3 存储桶：如何获取 Python 来检测来自 s3 存储桶的数据是否已经在 elasticsearch 中？

Question

我对 Elasticsearch 非常陌生，我似乎无法找到一个答案来帮助我获得 Python 来检测我在 s3 存储桶中的文档中的数据是否已经上传到 elasticsearch。我的目标是拥有它查看 s3 存储桶中的数据是否已经存在，如果存在，则跳过它，并移至下一个，直到找到尚未上传数据的文档。 有人能帮助我吗？

Answer 1

我认为最简单的方法是使用 DynamoDB 来存储此类信息。 因此，您上传到 ES 的每个文件都会在 DDB 中获得一条记录。 因此，您始终可以通过检查 DDB 中是否存在记录来验证文件是否已上传到 ES。