[英]How to use Spring batch , Quartz, scheduler
我試圖弄清楚如何將 Spring Batch + Quartz 或 Scheduler 實現到以下業務邏輯。 環境:我有一個預訂數據庫表,單個客戶端可以創建多個預訂(客戶端表(一個):預訂表(許多)關系) 業務邏輯:在特定的預訂 state 中,假設客戶端在(已由管理員更新時間更新的預訂 stat ...
[英]How to use Spring batch , Quartz, scheduler
我試圖弄清楚如何將 Spring Batch + Quartz 或 Scheduler 實現到以下業務邏輯。 環境:我有一個預訂數據庫表,單個客戶端可以創建多個預訂(客戶端表(一個):預訂表(許多)關系) 業務邏輯:在特定的預訂 state 中,假設客戶端在(已由管理員更新時間更新的預訂 stat ...
[英]Spring Batch Dynamic Insert and Update with DB to DB
在某些情況下,我們希望將數據從 DB 加載到 DB。 但是我們想檢查數據是否已經存在於目標系統中然后更新它,否則將它插入到數據庫中。 我們正在使用以下方法: 以上僅適用於插入。 我如何使用一個 JDBC 批量項目編寫器來動態更新它。 如果記錄已經存在於塊中。 ...
[英]In local, environment variable passed with IntelliJ is not working in spring boot batch
我正在使用 Spring Boot Gradle 插件並在 Mac 上的 Intellij 中開發, 我正在嘗試通過環境變量獲取值但無法獲取它,(傳遞 3 個變量,其中只有一個 systemDate 無法訪問)。 Intellij 中的環境變量設置如下。 我還嘗試將其設置為 IntelliJ 中 ...
[英]JdbcCursorItemReader how to read different JobParameters other than String
我有一個要求,它是一個動態查詢,並且 JobParameters 是通過設置 String、Date、Long 等使用 JobParametersBuilder 構建的,但只能讀取 JdbcCursorItemReader 中的 String 值。 我們如何在 JdbcCursorItemRead ...
[英]Deciding between Tasklet and Chunk based approach of Spring Batch
我是 Spring Batch 的新手,我有以下使用 Spring Batch 實施的要求。 讀取多個 REST API 得到想要的數據。 所需數據分為兩組,即 X (List) 和 Y(List) 處理兩組數據以對列表中的每個 object 進行一些計算編寫兩個 XML 文件並發送 email 並 ...
[英]Spring Batch Retry using Remote Partitioning and Thread Pool Executor trying to process same record twice
我有一個使用遠程分區和塊大小為 10 的 spring-batch 服務。如果塊中的項目失敗,則重試限制為 3。我正在使用線程池執行器。 我觀察到在重試期間,正在生成一個 forkjoinpool worker 0 並處理失敗塊中的記錄。 除此之外,塊最初失敗的線程也嘗試同時處理塊中的記錄。 由於記 ...
[英]Can same meta data tables be used for multiple spring batches
示例:我有兩個不同的批次 batch-a , batch-b 在連接到 onprem db 的 azure 上運行。 首先部署 batch-a 並創建一個元數據表。 假設在幾個月后部署了 batch-b 。 它可以使用由 batch-a 創建和使用的相同元表嗎? ...
[英]Spring batch run same job with different parameters
我有一個春季批處理作業,它在通過某些作業參數時運行。 現在我想要實現的是一個超級作業,它構造作業參數列表並使用不同的作業參數執行這個批處理作業。 我正在使用jobLauncher使用不同的參數觸發批處理作業 我面臨的錯誤是 觸發工作的方式是 是否有以編程方式觸發具有不同作業參數的相同作業的 ...
[英]How to process files into chunks and write in multiple files using Spring batch?
我有大約 50 個 CSV 文件,其中包含大約 6000 萬個數據要處理。 但我不希望將所有這些文件合並到單個 CSV 中。 而是想合並一小塊文件 示例 - 我想處理前三個文件並合並為單個 CSV。 然后移動到接下來的三個文件。 目前,我正在使用 Spring 批處理MultiResourceIt ...
[英]How to disable/avoid linesToSkp(1) from next file onwards in spring batch while processing large csv file
我們有 csv 大文件,有 1 億條記錄,並使用 spring 批處理加載、讀取和寫入數據庫,方法是使用“SystemCommandTasklet”拆分具有 100 萬條記錄的文件。 下面是片段, 和批處理配置: 通過以上配置,我可以讀取負載並成功寫入數據庫。 但是,發現以下代碼片段存在一個錯誤, ...
[英]JOOQ and Spring Batch transaction management
我目前正在開發 Spring Batch (2.6.3) 應用程序,我正在使用 JOOQ (3.14.15) 訪問 MariaDB 數據庫 (10.5.8)。 到目前為止,我只做了幾份工作,並達到了我正在測試交易的地步。 我正在嘗試運行 tasklet,據我所知,它默認在事務中執行。 我用簡單的插入 ...
[英]Spring batch AsyncItemWriter flag to next step
我有兩個步驟的工作。 Step1 最終使用 AsyncItemWriter 寫入文件,而我正在寫入文件時,我想檢查每條記錄是否有任何錯誤(想象其中帶有錯誤標志的記錄對象)。 在第 2 步中,如果之前寫入的任何記錄中有錯誤,那么我想將寫入的文件復制到 s3,否則刪除該寫入的文件。 目前,我將此信息存 ...
[英]How correctly run task in RepeatStatus.CONTINUABLE while some condition?
我有一個簡單的工作,由 2 個 tasklet 組成,每個 tasklet 發出 HTTP 請求以獲得一些狀態結果。 第一個 tasklet 看起來像 } 因此,如果我的響應狀態不同於 200 和 500 任務在 state CONTINUALBE如果我有 200 或不同的狀態而不是 500 任 ...
[英]Spring Batch - Need help and suggestion to decide on the best approach to compare two different Databases and create an excel report with differences
問題陳述:我需要比較兩個不同數據庫之間的詳細信息,並通過 excel 報告不匹配情況。其中一個數據源是我信任的主數據源 (DB2),而輔助數據源(在本例中為 HANA)需要與小學相比。 我是Spring批次的新手。 任何幫助表示贊賞。 設計方法:我從基於塊的處理開始,我正在使用 Item Reade ...
[英]Set job name in Spring Batch Test
我正在進行 Spring 批處理單元測試,每次運行我的測試用例時,我都會獲得名為“TestJob”的作業。 是否可以設置/更改它並提供新的作業名稱? 我嘗試並解決了: 但可以找到任何有用的東西。 ...
[英]X-Ray configuration for Spring Batch Job
X-Ray 已集成到我的服務中,當其他服務觸發某些端點時一切正常。 Spring 批處理作業用於處理一些數據並將其中的一部分推送到 SNS 主題。 這個工作是通過SimpleJobLauncher啟動的。 問題是在從我的 Spring 批次推送到 SNS 期間拋出以下異常: SegmentNot ...
[英]Any support in Spring Batch for reading multiple files under zip
我正在尋找根據位置從多個文件加載人員記錄。 Spring 是否支持批量加載名為 location weise 的多個文件? Easy Country_people.zip -> Location1 (folder1) 包含 3 個文本文件(people_education.txt、peop ...
[英]In Spring Batch, linked with a ItemReader call I want to call a static util method to populate a string
我有一個 Spring 批處理閱讀器,具有以下配置。 該閱讀器正在從數據庫中讀取,並且一次讀取頁面大小記錄。 我想調用 utils 方法, 在處理器步驟之前,以便讀取器獲取的所有記錄都將具有由上述調用給出的相同設置值。 這樣讀取器獲取的所有實體將在處理器中獲得相同的值。 然后這個 refValue ...
[英]How to resolve NullPointerException in MultiResourceItemReader Spring Batch
我正在使用MultiResourceItemReader從 S3 存儲桶中讀取多個文件,在執行myReader()方法之前我得到NullPointerException ,但是,在拋出異常后它會進入myReader()方法但itemProcessor方法沒有調用。 我相信由於NullPointer ...
[英]How can I execute method of an Object in Arraylist?
我的問題是:我創建了一個 Arraylist serviceList service1 和 service2 都是來自 2 個類的 2 個獨立對象,但它們具有相同的“執行”方法: 我嘗試使用 ArrayList< Class> 但它是死路一條。 謝謝你的回答:D ...