簡體 English 中英

Flume 代理從 Kafka 讀取數據並以 parquet 格式存儲數據

[英]Flume agent reading from Kafka and storing data in parquet format

原文 2019-10-28 14:59:11 6 1 json/ hadoop/ apache-kafka/ parquet/ flume

我想配置一個應該從 Kafka 主題讀取的 Flume 代理，並以 Parquet 格式保存數據。 我該怎么做？ 我找不到直接以 Parquet 格式寫入數據的解決方案

1 個解決方案

Flume HDFS sink 默認不會寫入 parquet，因為你不能 append 行到它。 最好是使用 Flume 編寫 avro 文件，並在文件完成時觸發 MapReduce 作業或 Impala 以執行 Avro to Parquet。

如何將JSON寫入由Kafka的日期划分的HDFS

[英]How to write JSON to HDFS partitioned by dates from Kafka by flume

用於存儲代理路徑概率的良好數據結構

[英]Good data structure for storing agent path probabilities

Kafka Connect：讀取 JSON 序列化的 Kafka 消息，轉換為 Parquet 格式並持久化到 S3

[英]Kafka Connect: Read JSON serialized Kafka message, convert to Parquet format and persist in S3

從 Python 寫入嵌套拼花格式

[英]Write nested parquet format from Python

如何以 json 格式將數據從 rds 推送到 kafka 隊列

[英]How to push the data from rds to kafka queue in json format

讀取Windows Phone 7聯系人並以json格式存儲

[英]reading Windows phone 7 contacts and storing in json format

在iOS中存儲/讀取JSON數據

[英]Storing/Reading json data in iOS

Kafka-從JSON記錄到S3中的Parquet文件

[英]Kafka - From JSON records to Parquet files in S3

從Json文件格式讀取數據並在沒有本地存儲的情況下使用它

[英]reading data from Json file format and using it without localstorage

將JSON數據讀取和存儲到淘汰表observableArray

[英]Reading & Storing JSON data into knockoutja observableArray

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 如何將JSON寫入由Kafka的日期划分的HDFS 用於存儲代理路徑概率的良好數據結構 Kafka Connect：讀取 JSON 序列化的 Kafka 消息，轉換為 Parquet 格式並持久化到 S3 從 Python 寫入嵌套拼花格式如何以 json 格式將數據從 rds 推送到 kafka 隊列讀取Windows Phone 7聯系人並以json格式存儲在iOS中存儲/讀取JSON數據 Kafka-從JSON記錄到S3中的Parquet文件從Json文件格式讀取數據並在沒有本地存儲的情況下使用它將JSON數據讀取和存儲到淘汰表observableArray

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM