嘗試使用 flume 收集 twitter 數據並將其發送到 kafka 但收到有關批量大小的錯誤
[英]trying to collect twitter data using flume and send that to kafka but getting an ERROR regarding batch size
我相信這與我的 flume.conf 文件有關。 Flume_project.conf 這是錯誤 我錯過了什么嗎？ 我正在嘗試使用 Flume 收集 twitter 數據，將其發送到 Kafka，然后使用彈性搜索分析該數據。 我嘗試將 TwitterAgent.channels.MemChanne ...
是否有可能使用 REST API & JMX 監控 Apache Flume？
[英]Is there any possibilities to monitoring the Apache Flume using REST API & JMX?
我目前正在開始研究 Apache 水槽。我已經在同一目錄中安裝了 apache hadoop、java8 64 位和 Apache 水槽。 現在我需要監控 apache 水槽。 是否有可能使用 REST API 和 JMX 監控 Apache 水槽？ ...
是否可以在水槽中動態寫入數據
[英]Is it possible to dynamically write data in flume
我目前有一個表，其中包含一個列，該列指示該行需要登陸到哪個表。 我想知道我是否能夠使用flume根據該列將行動態分配給它們的正確表。 我研究了多路復用，但看起來在創建管道時需要靜態配置通道。 ...
Apache 水槽 1.6.0 兼容性
[英]Apache flume 1.6.0 compatibility
有人可以幫我說 apache 水槽 1.6.0 與 RHEL7 兼容嗎？ 已在 apache 水槽頁面嘗試但無法找到。 ...
Flume twitter - 請使用 V2 過濾和樣品體積 stream 作為替代品
[英]Flume twitter - Please use V2 filtered and sample volume stream as alternatives
我正在嘗試通過 apache 水槽攝取一些 twitter 數據，因此，沉入卡夫卡。 這僅用於學習目的，我陷入了這個錯誤： 我想我需要在 twitter 開發者頁面上啟用此身份驗證選項： 但是我應該在這里輸入什么？ 我說回調 URL 是允許 OAuth 在身份驗證過程后重定向的目標。 識別回調 ...
Apache Flume 在 ChannelFullException 發生 500 次后卡住
[英]Apache Flume stuck after ChannelFullException is occured 500 times
這個賞金已經結束。 此問題的答案有資格獲得+50聲望賞金。 賞金寬限期在18 小時后結束。 ...
使用 Apache Flume 將 CSV 轉換為 Parquet？
[英]Transform CSV into Parquet using Apache Flume?
我有一個問題，是否可以使用水槽對數據執行 ETL。 更具體地說，我在包含 CSV 個文件的 spoolDir 上配置了水槽，我想在將這些文件存儲到 Hadoop 之前將這些文件轉換為 Parquet 文件。這可能嗎？ 如果不可能，您會建議在存儲到 Hadoop 之前轉換它們，還是在 Hadoop ...
僅地圖作業未運行。 堅持運行工作
[英]Map-only job is not running. Stuck at Running job
我已經通過 Apache Flume 流式傳輸數據，數據已存儲在我的 hdfs 文件夾中的臨時文件中： user/*****/tweets/FlumeData.1643626732852.tmp 現在我正在嘗試運行一個僅映射器的作業，它將通過 url 刪除、# 標記刪除、@ 刪除、停用詞刪除等方式預 ...
Twitter 流數據使用 apache 水槽獲取錯誤
[英]Twitter streaming data using apache flume getting error
我正在做一個與 Hadoop 和水槽相關的小任務。 我正在嘗試使用水槽獲取 Twitter 數據，但出現以下錯誤 ERROR node.AbstractConfigurationProvider: Sink HDFS 由於配置過程中的錯誤而被刪除 java.lang.InstantiationExc ...
Kafka Source 的 Flume 不使用 file_roll 寫入事件
[英]Flume with Kafka Source not writing events using file_roll
因此，正如 header 所說，我有一個帶有 kafka 源的水槽代理，它寫入 HDFS 位置，壓縮為 avro，我想多路復用它以將事件寫入日志文件中。 我在 AKS 內的一個吊艙中運行我的水槽。 所以這是我到目前為止所嘗試的，我的水槽配置的這一部分： 要將其部署到 AKS，我使用創建配置 map ...
通過 Apache Flume 將日志文件從本地文件系統移動到 HDFS 時出錯
[英]Error in moving log files from local file system to HDFS via Apache Flume
我的本地文件系統中有日志文件，需要通過 Apache Flume 將其傳輸到 HDFS。 我在主目錄中有以下配置文件保存為 net.conf 在主目錄本身運行命令后flume-ng agent -n NetcatAgent -f net.conf 我得到了以下 output： ...
轉義序列未填充 hdfs 路徑和文件前綴
[英]Escape Sequences not populating hdfs path and file prefix
在我的水槽流中，我想要一個自定義動態 hdfs 路徑，但沒有數據被填充到攔截器。 示例數據： 188 17 2016-06-01 00:31:10 6200.041736 0 配置 ...
如何使用 Flume 按年和月對 txt/csv 文件中的數據進行分區？ 是否可以使 HDFS 路徑動態化？
[英]How do I partition data from a txt/csv file by year and month using Flume? Is is possible to make the HDFS path dynamic?
我想配置一個水槽流，以便它以 CSV 文件作為源，檢查數據，並在 HDFS 中按年/月將每行數據動態分隔到文件夾中。 這可能嗎？ ...
只能寫入 1 個 minReplication 節點中的 0 個。 有 3 個數據節點正在運行，3 個節點被排除在該操作中。 使用 docker
[英]Could only be written to 0 of the 1 minReplication nodes. There are 3 datanode(s) running and 3 node(s) are excluded in this operation. Using docker
我制作了一個docker-compose.yml文件，里面包含Hadoop、Kafka、Flume等多個apache服務。 目前，我嘗試使用 Kafka 檢索數據，將其發送到 Flume（以便能夠轉換數據（結構），並將其存儲在 HDFS 中。我使用 Kafka 生產者生成虛擬數據，我可以在其中向 ...
Flume 不會將 Twitter 數據加載到 HDFS
[英]Flume won't load Twitter data to HDFS
我正在嘗試將 Twitter 數據加載到 Hadoop 中。 它說它已經處理了近 25000 個文件，但是當我檢查 Hadoop 時，我總是發現文件夾是空的。 這是我正在使用的命令 Flume-ng agent -n TwitterAgent -f flume.conf 這是一個小標題 ...
水槽監控配置單元日志，並沉入 hdfs 錯誤：線程“SinkRunner-PollingRunner-DefaultSinkProcessor”中的異常 java.lang.NoSuchMethodError
[英]flume monitor hive log, and sink to hdfs error:Exception in thread “SinkRunner-PollingRunner-DefaultSinkProcessor” java.lang.NoSuchMethodError
Hadoop 3.3.1 Hive2.3.9 水槽 1.9.0 我想要的是：當 hive 更新日志時，flume 會監視 hive 日志，flume sink hive 日志更改為 hdfs。但是我無法登錄 hdfs。 我已經下載並復制下面的 jars 到/home/hadoop/flu ...
如何使用 HTTP 源設置 Apache Flume 並使用 File_Roll Sink 在本地保存數據
[英]how to setup Apache Flume with HTTP source and save data in local using File_Roll Sink
這個問題的目標是如何創建一個 Apache Flume 設置，我們將從 HTTP Flume Source 獲取數據，並使用 File-Roll Flume Sink 保存該數據。 這里我們從用戶那里獲取了輸入數據。 收到用戶的數據后，我們將把該數據保存在一個文本文件中。 ...
卡夫卡 HA + 水槽。 如何在 Flume 中使用 Kafka HA 配置？
[英]Kafka HA + flume. How can I use the Kafka HA configuration with Flume?
環境 Apache 卡夫卡 2.7.0 Apache 水槽 1.9.0 問題目前，在我們的架構中， 我們使用帶有 Kafka 通道的 Flume，沒有 HDFS 的源和接收器。 未來，我們將使用 kafka mirror maker 構建一個 Kafka HA 集群。 因此，即使一個集群關閉，我 ...
Flume Spark 流式傳輸到 Mysql 數據庫
[英]Flume Spark Streaming into Mysql Database
I have Spark Single node and I'm going to stream data into mysql using Apache Flume -> Spark -> Mysql , I used foreachPartition method but data ...
如何按年月日創建 HDFS 目錄？
[英]How a HDFS directory by year month and day is created?
在此鏈接中的問題之后，還有一個關於在 Hadoop HDFS 上創建目錄的問題。 我是 Hadoop/Flume 的新手，我選擇了一個使用 Flume 將 csv 數據保存到 HDFS 的項目。 Flume 水槽的設置如下： 通過這個 Flume 設置，對應的 csv 文件將被保存到 HDFS ...