cost 278 ms
如何使用Spring batch, Quartz, scheduler

[英]How to use Spring batch , Quartz, scheduler

我試圖弄清楚如何將 Spring Batch + Quartz 或 Scheduler 實現到以下業務邏輯。 環境:我有一個預訂數據庫表,單個客戶端可以創建多個預訂(客戶端表(一個):預訂表(許多)關系) 業務邏輯:在特定的預訂 state 中,假設客戶端在(已由管理員更新時間更新的預訂 stat ...

Spring 數據庫到數據庫的批量動態插入和更新

[英]Spring Batch Dynamic Insert and Update with DB to DB

在某些情況下,我們希望將數據從 DB 加載到 DB。 但是我們想檢查數據是否已經存在於目標系統中然后更新它,否則將它插入到數據庫中。 我們正在使用以下方法: 以上僅適用於插入。 我如何使用一個 JDBC 批量項目編寫器來動態更新它。 如果記錄已經存在於塊中。 ...

在本地,使用 IntelliJ 傳遞的環境變量在 spring 引導批處理中不起作用

[英]In local, environment variable passed with IntelliJ is not working in spring boot batch

我正在使用 Spring Boot Gradle 插件並在 Mac 上的 Intellij 中開發, 我正在嘗試通過環境變量獲取值但無法獲取它,(傳遞 3 個變量,其中只有一個 systemDate 無法訪問)。 Intellij 中的環境變量設置如下。 我還嘗試將其設置為 IntelliJ 中 ...

在 Spring Batch 的基於 Tasklet 和 Chunk 的方法之間做出決定

[英]Deciding between Tasklet and Chunk based approach of Spring Batch

我是 Spring Batch 的新手,我有以下使用 Spring Batch 實施的要求。 讀取多個 REST API 得到想要的數據。 所需數據分為兩組,即 X (List) 和 Y(List) 處理兩組數據以對列表中的每個 object 進行一些計算編寫兩個 XML 文件並發送 email 並 ...

Spring Batch Retry 使用遠程分區和線程池執行器嘗試處理相同的記錄兩次

[英]Spring Batch Retry using Remote Partitioning and Thread Pool Executor trying to process same record twice

我有一個使用遠程分區和塊大小為 10 的 spring-batch 服務。如果塊中的項目失敗,則重試限制為 3。我正在使用線程池執行器。 我觀察到在重試期間,正在生成一個 forkjoinpool worker 0 並處理失敗塊中的記錄。 除此之外,塊最初失敗的線程也嘗試同時處理塊中的記錄。 由於記 ...

相同的元數據表可以用於多個彈簧批次嗎

[英]Can same meta data tables be used for multiple spring batches

示例:我有兩個不同的批次 batch-a , batch-b 在連接到 onprem db 的 azure 上運行。 首先部署 batch-a 並創建一個元數據表。 假設在幾個月后部署了 batch-b 。 它可以使用由 batch-a 創建和使用的相同元表嗎? ...

Spring批處理以不同的參數運行相同的作業

[英]Spring batch run same job with different parameters

我有一個春季批處理作業,它在通過某些作業參數時運行。 現在我想要實現的是一個超級作業,它構造作業參數列表並使用不同的作業參數執行這個批處理作業。 我正在使用jobLauncher使用不同的參數觸發批處理作業 我面臨的錯誤是 觸發工作的方式是 是否有以編程方式觸發具有不同作業參數的相同作業的 ...

如何使用Spring批處理將文件處理成塊並寫入多個文件?

[英]How to process files into chunks and write in multiple files using Spring batch?

我有大約 50 個 CSV 文件,其中包含大約 6000 萬個數據要處理。 但我不希望將所有這些文件合並到單個 CSV 中。 而是想合並一小塊文件 示例 - 我想處理前三個文件並合並為單個 CSV。 然后移動到接下來的三個文件。 目前,我正在使用 Spring 批處理MultiResourceIt ...

如何在處理大型 csv 文件時從 spring 批處理中的下一個文件開始禁用/避免 linesToSkp(1)

[英]How to disable/avoid linesToSkp(1) from next file onwards in spring batch while processing large csv file

我們有 csv 大文件,有 1 億條記錄,並使用 spring 批處理加載、讀取和寫入數據庫,方法是使用“SystemCommandTasklet”拆分具有 100 萬條記錄的文件。 下面是片段, 和批處理配置: 通過以上配置,我可以讀取負載並成功寫入數據庫。 但是,發現以下代碼片段存在一個錯誤, ...

JOOQ 和 Spring Batch 事務管理

[英]JOOQ and Spring Batch transaction management

我目前正在開發 Spring Batch (2.6.3) 應用程序,我正在使用 JOOQ (3.14.15) 訪問 MariaDB 數據庫 (10.5.8)。 到目前為止,我只做了幾份工作,並達到了我正在測試交易的地步。 我正在嘗試運行 tasklet,據我所知,它默認在事務中執行。 我用簡單的插入 ...

Spring批量AsyncItemWriter標志到下一步

[英]Spring batch AsyncItemWriter flag to next step

我有兩個步驟的工作。 Step1 最終使用 AsyncItemWriter 寫入文件,而我正在寫入文件時,我想檢查每條記錄是否有任何錯誤(想象其中帶有錯誤標志的記錄對象)。 在第 2 步中,如果之前寫入的任何記錄中有錯誤,那么我想將寫入的文件復制到 s3,否則刪除該寫入的文件。 目前,我將此信息存 ...

在某些情況下如何在 RepeatStatus.CONTINUABLE 中正確運行任務?

[英]How correctly run task in RepeatStatus.CONTINUABLE while some condition?

我有一個簡單的工作,由 2 個 tasklet 組成,每個 tasklet 發出 HTTP 請求以獲得一些狀態結果。 第一個 tasklet 看起來像 } 因此,如果我的響應狀態不同於 200 和 500 任務在 state CONTINUALBE如果我有 200 或不同的狀態而不是 500 任 ...

Spring 批處理 - 需要幫助和建議來決定比較兩個不同數據庫的最佳方法並創建具有差異的 excel 報告

[英]Spring Batch - Need help and suggestion to decide on the best approach to compare two different Databases and create an excel report with differences

問題陳述:我需要比較兩個不同數據庫之間的詳細信息,並通過 excel 報告不匹配情況。其中一個數據源是我信任的主數據源 (DB2),而輔助數據源(在本例中為 HANA)需要與小學相比。 我是Spring批次的新手。 任何幫助表示贊賞。 設計方法:我從基於塊的處理開始,我正在使用 Item Reade ...

Spring 批處理作業的 X 射線配置

[英]X-Ray configuration for Spring Batch Job

X-Ray 已集成到我的服務中,當其他服務觸發某些端點時一切正常。 Spring 批處理作業用於處理一些數據並將其中的一部分推送到 SNS 主題。 這個工作是通過SimpleJobLauncher啟動的。 問題是在從我的 Spring 批次推送到 SNS 期間拋出以下異常: SegmentNot ...

Spring中任意支持批量讀取zip下的多個文件

[英]Any support in Spring Batch for reading multiple files under zip

我正在尋找根據位置從多個文件加載人員記錄。 Spring 是否支持批量加載名為 location weise 的多個文件? Easy Country_people.zip -> Location1 (folder1) 包含 3 個文本文件(people_education.txt、peop ...

在 Spring 批處理中,與 ItemReader 調用鏈接我想調用 static util 方法來填充字符串

[英]In Spring Batch, linked with a ItemReader call I want to call a static util method to populate a string

我有一個 Spring 批處理閱讀器,具有以下配置。 該閱讀器正在從數據庫中讀取,並且一次讀取頁面大小記錄。 我想調用 utils 方法, 在處理器步驟之前,以便讀取器獲取的所有記錄都將具有由上述調用給出的相同設置值。 這樣讀取器獲取的所有實體將在處理器中獲得相同的值。 然后這個 refValue ...

如何解決 MultiResourceItemReader Spring Batch 中的 NullPointerException

[英]How to resolve NullPointerException in MultiResourceItemReader Spring Batch

我正在使用MultiResourceItemReader從 S3 存儲桶中讀取多個文件,在執行myReader()方法之前我得到NullPointerException ,但是,在拋出異常后它會進入myReader()方法但itemProcessor方法沒有調用。 我相信由於NullPointer ...


 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM