[英]How to load Kafka topics to HDFS thru Spark streaming and Apache flume
我正在學習卡夫卡。 使用cloudera env。
我在Kafka中創建了一個主題:
/opt/bitnami/kafka/bin/kafka-topics.sh --create --zookeeper 35.195.113.105:2181 --replication-factor 1 --partitions 1 --topic airports
制片人:
/opt/bitnami/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic airports </home/bitnami/airports.csv
我需要使用Spark Streaming和Flume在HDFS中復制此主題。
有關如何執行此操作的任何想法或建議。
此致蘇拉卜
首先閱讀此文檔http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html 。 您將獲得如何在kafka中消費消息。 然后在foreachRDD函數中添加HDFS客戶端代碼,以將消息寫入HDFS。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.