Bash / Unix腳本：S3讀取記錄數

Question

場景：為了從S3存儲桶中找到.gz文件並進行文件級計數，以下是代碼片段。 您能幫我了解腳本問題嗎

腳本：

#!/bin/bash
export SRC_FILE_PATH="s3://merch-dev/Vendor/Orgzp/2017/11/21/"
for files in `aws s3 ls ${SRC_FILE_PATH} | awk '{print $4}'`
do
  find $files -type f -name '*.gz' -exec bash -c 'echo $1;gunzip -c $1 | wc -l' dummy {} \;
done

錯誤：

find: `part-00000-9f2e072e-b555-4857-b16d-e1236ea98d0e.csv.gz': No such file or directory
find: `part-00000-9f33e66b-418d-4c66-90ae-64cd91665f38.csv.gz': No such file or directory
find: `part-00000-9f6d1d0b-4f01-4662-826e-b5396221220e.csv.gz': No such file or directory

Answer 1

您正在使用AWS命令行實用程序來檢索文件列表，然后嘗試在這些位置上使用gunzip 。 gunzip是一個應在本地文件系統上使用的實用程序，並且不知道如何使用s3://...處理文件位置。

您需要：

1. 獲取文件列表，一一復制，然后將其壓縮
2. 將S3位置映射到本地文件夾（使用這種方法），然后使用gunzip