如何從 HDFS 中的目錄結構中刪除所有文件？

Question

我正在尋找清理環境。 我想遞歸地執行以下命令，而不對每個子文件夾進行硬編碼。 因為我在 HDFS 目錄中有數百個子文件夾。

hadoop fs -rm -r /a/b1/c1/d1.txt

hadoop fs -rm -r /a/b2/c2/d2.txt

hadoop fs -rm -r /a/b3/c3/d3.txt

hadoop fs -rm -r /a/bn/cn/dn.txt

我想刪除所有文件，但不刪除目錄或子目錄。 我不確定如何使用遞歸命令將目錄結構保留在 HDFS 中，同時刪除其中的所有文件。

Answer 1

hadoop fs -ls -R /directory/structure/ | grep "\.json" | awk '{print $8}' | xargs -I{} hadoop fs -rm "{}"