[英]ApacheNifi - Is there any way to send one flowfile at a time? (one for each minute)
晚安! 有沒有辦法一次發送一個流文件? (每分鍾一個) 累積文件的插圖: 我有 138 個流文件,我想每分鍾發送 1 個流文件。 是否有一個處理器或模式可以每分鍾執行 1 個? 謝謝! ...
[英]In Nifi, how do I create a JSON flow file from a list of tags and a file containing all of the records, one record per line?
我有一個包含 1000 條記錄的分號分隔文件,每行一條記錄,每條記錄包含幾個由分號分隔的字段。 我還有記錄中字段的標簽列表。 如何在 NiFi 中將這些組合成一個 JSON 流文件? 分號分隔的數據文件: 字段標簽列表: 我可以將標簽列表輸入處理器塊,但我不確定我可以使用哪個處理器(如果有的話)。 ...
[英]Read flow file attribute/content to processor property
我想根據通過的最后一個流文件的內容設置處理器的屬性。 示例:我使用處理器GenerateFlowFile和自定義文本${now()}實例化流文件作為創建流文件期間的當前時間戳。 我想要一個處理器(與我無關)將流文件的內容(時間戳)讀取到處理器的自定義屬性property_name 。 之后,我希望能 ...
[英]Generate exactly 1 Flowfile
我在 Apache Nifi 中使用GenerateFlowFile處理器 - 當我激活它時,我希望處理器准確創建1流文件。 Right now I use the REST API via Python to change the state to RUNNING , wait 0.5 seco ...
[英]Starting Apache Nifi with Apache Airflow - how to generate a flow file
我為我的 ETL 管道設置了 Apache Nifi,並希望使用 Apache Airflow 啟動(然后監視)特定處理器。 我看到從 airflow DAG 中實現此目的的兩種方法: 從頭開始生成流文件並將其插入 Nifi 隊列/處理器觸發“生成流文件處理器”以創建流文件,然后將其插入隊列我查看了 ...
[英]Generating Single Flow file for loading it into S3
我有一個 Nifi Flow,它從 RDS 表中獲取數據並作為平面文件加載到 S3,現在我需要生成另一個文件,該文件將具有我正在加載到 S3 存儲桶中的文件的名稱,這需要是單獨流動; 示例:如果 RDS 提取的平面文件名為 RDS.txt,那么新生成的文件應該有 rds.txt 作為內容,我需要將 ...
[英]How to create multiple flow files from one incoming flow files in nifi using ExecuteScript with python
在本地運行,這完全符合我的要求(在位置 7-10 有一個帶有許多不同代碼的傳入流文件,每個唯一代碼輸出 1 個文件)例如,如果記錄 1-5 在位置 7-10 中有 1234,並且記錄 6 在位置 7-10 中有 2345 個,記錄 7 在位置 7-10 中有 1234 個,那么將有一個名為 1234 ...
[英]Apache NiFi Distributed Performance
我有一個大約 40GB 的文件,我的 nifi 集群在一個節點上運行,解壓縮大約需要 60 分鍾。 如果我有這個處理器超過 2 或 3 個節點,處理器是否會將其工作分配到 go 的解壓縮時間降低到 30、25 分鍾? 提前致謝 ...
[英]Deleting flowfiles from apache nifi
下面是我正在處理的流程。 調用HTTP-->ExecuteScript-->ExecuteSQL 從調用 HTTP 開始,我得到兩個流文件,一個帶有請求,另一個帶有響應。 我已經為 ExecuteSQL 配置了事件驅動調度。 由於執行invoke HTTP處理器后隊列中有兩個流文件,Ex ...
[英]NIFI EXECUTESCRIPT Processor failing - No MODULE FOUND
我正在嘗試將模塊導入 nifi 中的 executescript 處理器。 正如建議的那樣,我正在提供模塊目錄的完整路徑。 示例:模塊目錄: /var/lib/nifi/Levenshtein --> 其中包含腳本所需的文件。 此外,在腳本中,我還設置了指向使用該模塊目錄的系統路徑我的代碼看起 ...
[英]Nifi Custom processor showing error “the local variable flowfile cannot be assigned”
我正在嘗試將原始流文件作為輸入發送到下一個處理器,但最終出現錯誤,我對 Nifi 非常陌生,並且在 Java 方面也有一些經驗。 如果我不添加輸出流,我會得到未指定的異常傳輸關系。 ...
[英]Merge two flowfiles into one stream using apache-nifi
我有以下apache-nifi場景 流文件1: 流文件2: 合並這兩個流文件后,結果應該是: 這里最重要的部分是, 3,muha, row 應該在那里, email字段為空。 我在 NiFi 中提到了將兩個 JSON 流文件合並在一起,這與我的問題非常相似。 但不是為行添加空值。 ...
[英]Add two columns together using apache-nifi
我有以下場景。 我有一個數據庫表: 添加basic_salary和allowance togther並使其作為net_salary並插入到一個名為新表net_salary 第一步,我使用了ExecuteSQLRecord處理器,可以獲取所有記錄。 但問題是:如何添加流文件中的這兩列。 所以最 ...