如何根據字段將數據從 CSV 加載到單獨的 Hadoop HDFS 目錄中

Question

我有一個 CSV 數據，我需要根據某個字段（年份）將其加載到 HDFS 目錄中。 我打算使用Java。 我已經看過使用 BufferedReader 但是我在實現它時遇到了麻煩。 這是用於此任務的最佳方法還是有更好的方法？

Answer 1

使用 Spark 將 CSV 讀入數據幀。

在寫入 HDFS 期間使用partitionBy("year") ，它將在以year=開頭的路徑下為每個唯一值創建子文件夾。