将 avro 文件从 hdfs 加载到 pyspark 数据帧

Question

我构建了一个小型数据管道，将一些虚构的测试数据从本地目录（json 格式）移动到 hdfs（avro 格式）。 这似乎工作正常（水槽没有显示错误），但错误可能已经存在。 下一步是使用数据块加载程序将 avro 文件转换为一些 pyspark dataframe（为此我只能找到 python 库）。 现在让我解释一下我是如何做到的，这样你就可以看到我可能在哪里失败了：

1 ) 使用水槽从 json 文件创建 avro 文件

我的目标是将 json 数据从本地目录推送到 HDFS，这样我就可以用 pySpark 对其进行分析。为此我使用了水槽。 由于 json 在 HDFS 上的压缩效果不佳，我还使用以下 flume.conf 将每个文件转换为 avro：

agent.sources.tail.type = exec
agent.sources.tail.shell = /bin/bash -c
agent.sources.tail.command = cat /home/user/Data/json/*
agent.sources.tail.batchsize = 10
agent.sources.tail.channels = MemChannel

agent.channels.MemChannel.type = memory
agent.channels.MemChannel.capacity = 100
agent.channels.MemChannel.transactionCapacity = 100


agent.sinks.HDFS.channel = MemChannel
agent.sinks.HDFS.type = hdfs
agent.sinks.HDFS.hdfs.fileType = DataStream
agent.sinks.HDFS.hdfs.fileSuffix=.avro
agent.sinks.HDFS.hdfs.path = hdfs://localhost:9000/home/user/Data/hdfs/test_data
agent.sinks.HDFS.hdfs.batchSize = 100
agent.sinks.HDFS.hdfs.rollSize = 0
agent.sinks.HDFS.hdfs.rollCount = 100
agent.sinks.HDFS.serializer=avro_event
agent.sinks.HDFS.serializer.compressionCodec=snappy

这确实运行没有任何错误，所以我假设 flume 将每个文件作为正确的 avro 文件移动到 HDFS。

2）通过加载avro文件创建一个dataframe

现在是我试图读取单个 avro 文件作为 pyspark 中的 dataframe 的部分：

from pyspark.sql.types import *
from pyspark.sql import SQLContext
from pyspark import SparkContext
sc = SparkContext()
sqlContext = SQLContext(sc)
sqlContext.setConf("spark.sql.avro.compression.codec","snappy") 

# creates a dataframe by reading a single avro file 
df = sqlContext.read.format("com.databricks.spark.avro").load("hdfs://localhost:9000/home/user/Data/hdfs/test_data/FlumeData.1535723039267.avro")

这向我展示了以下（错误的）output：

df.show()
+-------+--------------------+
|headers|                body|
+-------+--------------------+
|     []|[7B 22 63 61 74 6...|
|     []|[7B 22 63 61 74 6...|
|     []|[7B 22 63 61 74 6...|
|     []|[7B 22 63 61 74 6...|
|     []|[7B 22 63 61 74 6...|
+-------+--------------------+
only showing top 5 rows

这显然不是我想要的，因为上面的整个代码似乎只是像读取纯文本文件一样读取 avro 文件，因此没有解析的结构。 之前，我只是创建一个 dataframe，它使用相同的数据，但存储在原始 json 文件中。

# creates a dataframe by reading a single json file
df = sqlContext.read.json('hdfs://localhost:9000/home/user/Data/hdfs/test_data/FlumeData.1535702513118.json')

所以这就是所需的（正确的）output 的样子：

df.show()
+---------------+--------------------+---+-------------------+-----------------+
|       category|             content| id|          timestamp|             user|
+---------------+--------------------+---+-------------------+-----------------+
|              A|Million near orde...|801|2018-08-30_16:49:53|      Molly Davis|
|              D|Determine company...|802|2018-08-30_16:49:53|       Ronnie Liu|
|              B|Among themselves ...|803|2018-08-30_16:49:53|       Lori Brown|
|              C|Through various d...|804|2018-08-30_16:49:53|   Judith Herrera|
|              C|Week toward so co...|805|2018-08-30_16:49:53|Teresa Cunningham|
+---------------+--------------------+---+-------------------+-----------------+
only showing top 5 rows

如何为转换后的 avro 文件实现相同的结果？

Answer 1

df=spark.read.format("avro").load("<file-path>")
json_df=df.select(df0.Body.cast("string")).rdd.map(lambda x: x[0])   # parsing body of avro file and converting to json
data=spark.read.json(json_df)
data.show()

Answer 2

对于 spark<= 2.4，完全支持。
对于 spark >= 2.4，甚至 spark3 或更高版本：

1. 下载spark-avro依赖，可以在maven上找到java依赖。 请找到您的spark 的当前版本和 scala 。 版本不匹配会导致失败。
2. 在 Spark3 中，使用此方法创建 spark session 并添加您的依赖项。

spark = SparkSession.builder.master('local[*]')\
                           .appName('sample')\
                           .config("spark.jars","YOUR_JAR_PATH/spark-avro_2.12-3.2.1.jar")\
                           .getOrCreate()

并阅读你的 avro 数据

sample_df = spark.read.format("avro").load("YOUR_AVRO_DATA_PATH")

其实添加第三方 java 依赖一直可以用这个方法。