繁体 English 中英

Flume 代理从 Kafka 读取数据并以 parquet 格式存储数据

[英]Flume agent reading from Kafka and storing data in parquet format

原文 2019-10-28 14:59:11 9 1 json/ hadoop/ apache-kafka/ parquet/ flume

我想配置一个应该从 Kafka 主题读取的 Flume 代理，并以 Parquet 格式保存数据。 我该怎么做？ 我找不到直接以 Parquet 格式写入数据的解决方案

1 个解决方案

Flume HDFS sink 默认不会写入 parquet，因为你不能 append 行到它。 最好是使用 Flume 编写 avro 文件，并在文件完成时触发 MapReduce 作业或 Impala 以执行 Avro to Parquet。

如何将JSON写入由Kafka的日期划分的HDFS

[英]How to write JSON to HDFS partitioned by dates from Kafka by flume

用于存储代理路径概率的良好数据结构

[英]Good data structure for storing agent path probabilities

Kafka Connect：读取 JSON 序列化的 Kafka 消息，转换为 Parquet 格式并持久化到 S3

[英]Kafka Connect: Read JSON serialized Kafka message, convert to Parquet format and persist in S3

从 Python 写入嵌套拼花格式

[英]Write nested parquet format from Python

如何以 json 格式将数据从 rds 推送到 kafka 队列

[英]How to push the data from rds to kafka queue in json format

读取Windows Phone 7联系人并以json格式存储

[英]reading Windows phone 7 contacts and storing in json format

在iOS中存储/读取JSON数据

[英]Storing/Reading json data in iOS

Kafka-从JSON记录到S3中的Parquet文件

[英]Kafka - From JSON records to Parquet files in S3

从Json文件格式读取数据并在没有本地存储的情况下使用它

[英]reading data from Json file format and using it without localstorage

将JSON数据读取和存储到淘汰表observableArray

[英]Reading & Storing JSON data into knockoutja observableArray

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 如何将JSON写入由Kafka的日期划分的HDFS 用于存储代理路径概率的良好数据结构 Kafka Connect：读取 JSON 序列化的 Kafka 消息，转换为 Parquet 格式并持久化到 S3 从 Python 写入嵌套拼花格式如何以 json 格式将数据从 rds 推送到 kafka 队列读取Windows Phone 7联系人并以json格式存储在iOS中存储/读取JSON数据 Kafka-从JSON记录到S3中的Parquet文件从Json文件格式读取数据并在没有本地存储的情况下使用它将JSON数据读取和存储到淘汰表observableArray

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM