Shell 脚本扫描 S3 中的文件和 output 结果到日志文件

Question

我对 bash 和 shell 脚本非常陌生，并且想编写一个脚本，1）扫描 S3 文件夹并获取位于 S3 文件夹中的每个文件的名称； 2) 扫描每个文件并获取每个文件中的列标题； 3) 将这些结果（文件名和相关的列标题）输出到日志文件中。

我确实有 CLI 执行命令的经验，例如：

aws s3 ls <s3foldername> # 查看所有文件的列表

hdfs dfs -ls <s3foldername> | head -3 hdfs dfs -ls <s3foldername> | head -3 # 获取文件的前三行

如何在 shell 脚本中自动执行此操作以避免一次运行这些命令？ 首先（根据我有限的经验），我的.sh文件看起来像：

#!/bin/bash
log=my_s3_results.txt

# create log file or overwrite if already present
printf "Log File - " > $log

# append date to log file
date >> $log

# insert commands to scan files in S3
# insert commands to scan files in S3 and extract only columns heads for each file

echo <thoseresults> >> $log

我一直在研究和查看教程，但无法找到此特定用例所需的确切说明，因此非常感谢任何指导/帮助。

提前致谢