如何使用 Spark function 在包括根数据源的多个目标中插入完全相同的 dataFrame？

问题描述

我想从单个源读取数据，然后将其写回同一源，然后写入另一个源。

来源可以不同：HDFS、Mongo、Kafka...

通过本地测试，我有一个奇怪的行为。

这是我的第一个测试：我将数据保存在磁盘上而不是重新计算来自原始来源的数据：

Dataset<Row> rootDataframe = sparkSession
        .read()
        .option("header", true)
        .csv("folder1");

Dataset<Row> cachedDataFrame = rootDataframe.persist(StorageLevel.DISK_ONLY());

cachedDataFrame
        .write()
        .option("header", true)
        .mode(SaveMode.Append)
        .csv("folder1");

cachedDataFrame
        .write()
        .option("header", true)
        .mode(SaveMode.Overwrite)
        .csv("folder2");

cachedDataFrame.unpersist();

由于持久化 function，这并不像我预期的那样工作。缓存的数据在我第一次将其写回原始源时无效。 在我的文件夹 2 中，我得到了重复的数据（原始数据和我第一次操作写入的数据）。 这张 JIRA 票看起来像我的问题： https://issues.apache.org/jira/browse/SPARK-24596 。

但是，如果我不使用 persist，这会按我的意愿工作，我的第二次写操作不会受到第一次的影响。 我认为这是因为缓存没有失效并且元数据保持不变。

如果您查看物理计划，我认为即使我手动清理缓存也不会重新计算InMemoryFileIndex 。

== Physical Plan ==
*(1) FileScan csv [COUNTRY#10,CITY#11] Batched: false, Format: CSV, Location: InMemoryFileIndex[file:/D:/dev/Intellij-project/folder1, PartitionFilters: [], PushedFilters: [], ReadSchema: struct<COUNTRY:string,CITY:string>

Dataset<Row> rootDataframe = sparkSession
        .read()
        .option("header", true)
        .csv("folder1");

Dataset<Row> cachedDataFrame = rootDataframe
cachedDataFrame.explain(true);

cachedDataFrame
        .write()
        .option("header", true)
        .mode(SaveMode.Append)
        .csv("folder1");

sparkSession.sharedState().cacheManager().clearCache();

cachedDataFrame
        .write()
        .option("header", true)
        .mode(SaveMode.Overwrite)
        .csv("folder2");

但是这种行为与其他数据源不同，例如 MongoDB，如果我不持久化数据，数据将按预期重复，因为第二次写入操作将从第一次写入操作读取数据。

有没有办法在多个数据源中插入相同的数据，可能只使用 Spark 在不同的目标中包括根数据源？

使用 dataframe 持久化似乎是不可能的。 也许使用 dataframe 检查点？ 或者我应该使用外部数据存储作为中间数据存储？ 脏代码打破血统？ 当然，我不能颠倒写入顺序，这是一个简化的例子，我可以有多个源写入同一个多个目标。

火花：2.4.4
Java 8