反序列化内存中的 Hadoop 序列文件 object

Question

Pyspark 有一个 function 序列文件，它允许我们读取存储在 HDFS 或所有节点可用的一些本地路径中的序列文件。

但是，如果我在驱动程序 memory 中已经有一个字节 object 需要反序列化并写入序列文件怎么办？

例如，我正在处理的应用程序（我无法更改应用程序逻辑）运行一个 spark 作业，该作业将此文件写入不符合 HDFS 的文件系统，然后我可以将其作为内存中 python 字节 ZA8CFDE6331BD59EB66AC96F89111C4 检索，只包含一个序列化的序列 object 我应该能够在内存中反序列化。

Because this object is already in memory ( for reason I cannot control) the only way I have to deserialize it and actually see the output ( which is a json file) currently is to write it as a file locally, move that file into HDFS,然后使用sequenceFile方法读取文件（因为该方法仅适用于 HDFS 文件路径或每个节点上的本地路径上的文件） - 这会在应用程序工作流程中产生问题。

我需要做的是在 memory 中反序列化它，这样我就可以将它写为 json 文件，而无需在本地写入，然后将其放入 HDFS 中，仅读取它

Is there anyway in python to take this bytes like NullWritable Object and deserialize it into either a python dictionary or put it back into hadoop as something that I could actually read?

Answer 1

基本上，您必须查看 spark 本身的序列文件代码并应用正确的部分并将其转换为 RDD，以便您可以在其上执行 spark 操作，例如写入文件。

这是一个让您入门的链接，但它需要一些挖掘。