如何根据字段将数据从 CSV 加载到单独的 Hadoop HDFS 目录中

Question

我有一个 CSV 数据，我需要根据某个字段（年份）将其加载到 HDFS 目录中。 我打算使用Java。 我已经看过使用 BufferedReader 但是我在实现它时遇到了麻烦。 这是用于此任务的最佳方法还是有更好的方法？

Answer 1

使用 Spark 将 CSV 读入数据帧。

在写入 HDFS 期间使用partitionBy("year") ，它将在以year=开头的路径下为每个唯一值创建子文件夹。