堆棧內存溢出
cost 122 ms
是否有可能使用 REST API & JMX 監控 Apache Flume？

[英]Is there any possibilities to monitoring the Apache Flume using REST API & JMX?

我目前正在開始研究 Apache 水槽。我已經在同一目錄中安裝了 apache hadoop、java8 64 位和 Apache 水槽。 現在我需要監控 apache 水槽。 是否有可能使用 REST API 和 JMX 監控 Apache 水槽？ ...

Apache Flume和Kafka是如何協同工作的？

[英]How Apache Flume and Kafka works together?

關於這個配置，我的理解是 flume 正在讀取消息到 kafka 主題source-topic ，將這個消息/事件推送到 kafka channel/topic test-topic然后 sink 消費它並將它寫入 ElasticSearch。 為了測試這個流程，我明確地將 1 條消息/事件推送到 ...

Kafka Source 的 Flume 不使用 file_roll 寫入事件

[英]Flume with Kafka Source not writing events using file_roll

因此，正如 header 所說，我有一個帶有 kafka 源的水槽代理，它寫入 HDFS 位置，壓縮為 avro，我想多路復用它以將事件寫入日志文件中。 我在 AKS 內的一個吊艙中運行我的水槽。 所以這是我到目前為止所嘗試的，我的水槽配置的這一部分： 要將其部署到 AKS，我使用創建配置 map ...

通過 Apache Flume 將日志文件從本地文件系統移動到 HDFS 時出錯

[英]Error in moving log files from local file system to HDFS via Apache Flume

我的本地文件系統中有日志文件，需要通過 Apache Flume 將其傳輸到 HDFS。 我在主目錄中有以下配置文件保存為 net.conf 在主目錄本身運行命令后flume-ng agent -n NetcatAgent -f net.conf 我得到了以下 output： ...

如何使用 HTTP 源設置 Apache Flume 並使用 File_Roll Sink 在本地保存數據

[英]how to setup Apache Flume with HTTP source and save data in local using File_Roll Sink

這個問題的目標是如何創建一個 Apache Flume 設置，我們將從 HTTP Flume Source 獲取數據，並使用 File-Roll Flume Sink 保存該數據。 這里我們從用戶那里獲取了輸入數據。 收到用戶的數據后，我們將把該數據保存在一個文本文件中。 ...

Flume NoSuchMethodError 將 Twitter 數據拉入 HDFS

[英]Flume NoSuchMethodError pulling Twitter data into HDFS

由於我無法擺脫的錯誤，我無法使用 Flume 將 Twitter 數據提取到 HDFS 中。 命令： 安慰： flume-env.sh：我手動將flume-sources-1.0-SNAPSHOT.jar添加到flume/lib中。 twitter.conf： 操作系統：Ubuntu Flum ...

文件閱讀器配置不適用於 Fume

[英]File reader configuration doesn't work for Fume

我是水槽的新手，正在嘗試我的第一個實驗。我正在嘗試使用 fume 從文件中讀取數據並將其發送到 kafka 主題。 配置是從一個教程網站上拉下來的。配置如下所示。 但這並沒有做任何事情。它沒有拋出任何錯誤，而是一些警告。 日志如下所示。 我該如何解決這個問題？ ...

無法使用 Flume 檢索 Twitter 流數據

[英]Unable to retrieve Twitter streaming data using Flume

我正在嘗試使用 Flume 流式傳輸和檢索 Twitter 數據，但由於某種錯誤而無法這樣做。 當我嘗試使用以下命令執行它時： 我得到以下信息： 終端只是卡在這里，什么也沒有發生。 我嘗試等待幾分鍾，但它保持不變。 我的配置文件 twitter.conf 位於 /home/hadoop/F ...

Flume可以為數據添加標題嗎？

[英]Can Flume add header to data?

我正在處理這樣的數據： {"a":1,"b":2}並且我希望 Flume 為所有數據添加一個標題，如{"header":self_define,"content":{"a":1,"b":2}} 我閱讀了一些關於 Flume 攔截器的材料，但它們似乎只能用於修改接收器的輸出路徑。 有什么方法可以實現 ...

水槽：為分區 kafka sink 分配密鑰

[英]flume: assign key for partition kafka sink

我正在處理一個問題，但在水槽文檔中也找不到任何答案來解決它。 我想取尾文件的絕對路徑並保存。 在我想將它作為鍵傳遞給 kafka sink 之后，以便在同一分區中擁有具有相同路徑的所有事件。 我讀過很多文章說這是可能的，但我找不到要分配的配置以使其工作。 有人可以給我有關如何配置代理的參考或示例嗎？ ...

水槽復制然后過濾，如何？

[英]Flume replicate then filter, how?

我需要復制一個源，然后只過濾正則表達式上的一個副本。 例如，如果我的源數據是“狗、驢、貓”，我想將“狗、驢、貓”下沉到一個地方，但只將“狗、驢”下沉到另一個地方 (d*)。 我打算使用正則表達式攔截器，但由於攔截器與源相關聯，因此我沒有看到如何執行此操作。 這怎么可能實現？ ...

水槽下沉到 Splunk？

[英]Flume sink to Splunk?

有沒有人成功地將數據從水槽下沉到 splunk？ 我試過 Thrift 和 Avro 水槽水槽，但它們有問題。 對於 splunk 來說並不是很好的格式，而且 Flume 在它們被沉沒之后會一遍又一遍地嘗試事件。 我正在研究將水槽 HTTP 接收到 splunk 的 HEC，但我看不到如何在 he ...

使用flafka從數據源到HDFS的相同文本文件

[英]same textfile from data source to HDFS using flafka

我正在開發以下架構： 1）flume agent_a 在數據源目錄中拖尾文本文件並將它們移動到 kafka 主題中。 2）flume agent_b將文本文件從kafka主題移動到hdfs。 我對這個問題有點困惑： 我如何確定 agent_b 將從 kafka 主題中獲取數據，以便在 HDFS ...

可以單獨使用Flume Kafka Source嗎？

[英]Is it possible to use Flume Kafka Source by itself?

假設有很多生產者將avro記錄（具有相同的架構）寫入Kafak主題。 我可以使用Flume Kafka Source讀取這些記錄並將其寫入HDFS。 即使記錄不是使用Flume Sink發布的？ ...

為什么水槽不將數據寫入孟買地區的S3？

[英]Why is flume not writing data to S3 in Mumbai region?

我正在使用flume 1.5.0版本將SQL Server數據遷移到Amazon S3。 我只將增量數據遷移到s3。 因此，就像將新記錄插入到我的sql服務器中一樣，它應該在S3上復制。 我可以將sql server數據寫入北弗吉尼亞地區的s3 ，但是當我在孟買地區創建存儲桶並在孟買地 ...

如何監視Apache Flume代理狀態？

[英]How to monitor Apache Flume agents status?

我知道企業（例如Cloudera）的方式，通過使用CM（通過瀏覽器）或Cloudera REST API，人們可以訪問監視和配置功能。 但是，如何在不使用CM的情況下安排（運行和重新運行）水槽代理生命周期並監視其運行/故障狀態？ Flume發行版中是否存在此類內容？ ...

強制終止+啟動后未清理Apache Flume .tmp文件

[英]Apache Flume .tmp files not cleaned up after a force kill + start

我看到了與此相關的幾個問題，但並沒有完全了解我想要的東西。 我正在使用Flume 1.8.0，在Flume代理被強行殺死后，我看到.tmp文件。 在重新啟動水槽代理程序時不會清除這些文件。 有什么方法可以配置Flume代理進行清理，還是我需要自己（在Flume之外）自行處理？ 這是我 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM