cost 332 ms
ApacheNifi - 有沒有辦法一次發送一個流文件? (每分鍾一個)

[英]ApacheNifi - Is there any way to send one flowfile at a time? (one for each minute)

晚安! 有沒有辦法一次發送一個流文件? (每分鍾一個) 累積文件的插圖: 我有 138 個流文件,我想每分鍾發送 1 個流文件。 是否有一個處理器或模式可以每分鍾執行 1 個? 謝謝! ...

在 Nifi 中,如何從標簽列表和包含所有記錄的文件(每行一條記錄)創建一個 JSON 流文件?

[英]In Nifi, how do I create a JSON flow file from a list of tags and a file containing all of the records, one record per line?

我有一個包含 1000 條記錄的分號分隔文件,每行一條記錄,每條記錄包含幾個由分號分隔的字段。 我還有記錄中字段的標簽列表。 如何在 NiFi 中將這些組合成一個 JSON 流文件? 分號分隔的數據文件: 字段標簽列表: 我可以將標簽列表輸入處理器塊,但我不確定我可以使用哪個處理器(如果有的話)。 ...

將流文件屬性/內容讀取到處理器屬性

[英]Read flow file attribute/content to processor property

我想根據通過的最后一個流文件的內容設置處理器的屬性。 示例:我使用處理器GenerateFlowFile和自定義文本${now()}實例化流文件作為創建流文件期間的當前時間戳。 我想要一個處理器(與我無關)將流文件的內容(時間戳)讀取到處理器的自定義屬性property_name 。 之后,我希望能 ...

恰好生成 1 個流文件

[英]Generate exactly 1 Flowfile

我在 Apache Nifi 中使用GenerateFlowFile處理器 - 當我激活它時,我希望處理器准確創建1流文件。 Right now I use the REST API via Python to change the state to RUNNING , wait 0.5 seco ...

使用 Apache Airflow 啟動 Apache Nifi - 如何生成流文件

[英]Starting Apache Nifi with Apache Airflow - how to generate a flow file

我為我的 ETL 管道設置了 Apache Nifi,並希望使用 Apache Airflow 啟動(然后監視)特定處理器。 我看到從 airflow DAG 中實現此目的的兩種方法: 從頭開始生成流文件並將其插入 Nifi 隊列/處理器觸發“生成流文件處理器”以創建流文件,然后將其插入隊列我查看了 ...

生成單流文件以將其加載到 S3

[英]Generating Single Flow file for loading it into S3

我有一個 Nifi Flow,它從 RDS 表中獲取數據並作為平面文件加載到 S3,現在我需要生成另一個文件,該文件將具有我正在加載到 S3 存儲桶中的文件的名稱,這需要是單獨流動; 示例:如果 RDS 提取的平面文件名為 RDS.txt,那么新生成的文件應該有 rds.txt 作為內容,我需要將 ...

如何使用帶有python的ExecuteScript從nifi中的一個傳入流文件創建多個流文件

[英]How to create multiple flow files from one incoming flow files in nifi using ExecuteScript with python

在本地運行,這完全符合我的要求(在位置 7-10 有一個帶有許多不同代碼的傳入流文件,每個唯一代碼輸出 1 個文件)例如,如果記錄 1-5 在位置 7-10 中有 1234,並且記錄 6 在位置 7-10 中有 2345 個,記錄 7 在位置 7-10 中有 1234 個,那么將有一個名為 1234 ...

Apache NiFi分布式性能

[英]Apache NiFi Distributed Performance

我有一個大約 40GB 的文件,我的 nifi 集群在一個節點上運行,解壓縮大約需要 60 分鍾。 如果我有這個處理器超過 2 或 3 個節點,處理器是否會將其工作分配到 go 的解壓縮時間降低到 30、25 分鍾? 提前致謝 ...

從 apache nifi 中刪除流文件

[英]Deleting flowfiles from apache nifi

下面是我正在處理的流程。 調用HTTP-->ExecuteScript-->ExecuteSQL 從調用 HTTP 開始,我得到兩個流文件,一個帶有請求,另一個帶有響應。 我已經為 ExecuteSQL 配置了事件驅動調度。 由於執行invoke HTTP處理器后隊列中有兩個流文件,Ex ...

NIFI EXECUTESCRIPT 處理器失敗 - 未找到模塊

[英]NIFI EXECUTESCRIPT Processor failing - No MODULE FOUND

我正在嘗試將模塊導入 nifi 中的 executescript 處理器。 正如建議的那樣,我正在提供模塊目錄的完整路徑。 示例:模塊目錄: /var/lib/nifi/Levenshtein --> 其中包含腳本所需的文件。 此外,在腳本中,我還設置了指向使用該模塊目錄的系統路徑我的代碼看起 ...

使用 apache-nifi 將兩個流文件合並為一個流

[英]Merge two flowfiles into one stream using apache-nifi

我有以下apache-nifi場景 流文件1: 流文件2: 合並這兩個流文件后,結果應該是: 這里最重要的部分是, 3,muha, row 應該在那里, email字段為空。 我在 NiFi 中提到了將兩個 JSON 流文件合並在一起,這與我的問題非常相似。 但不是為行添加空值。 ...

使用 apache-nifi 將兩列添加在一起

[英]Add two columns together using apache-nifi

我有以下場景。 我有一個數據庫表: 添加basic_salary和allowance togther並使其作為net_salary並插入到一個名為新表net_salary 第一步,我使用了ExecuteSQLRecord處理器,可以獲取所有記錄。 但問題是:如何添加流文件中的這兩列。 所以最 ...


 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM