堆棧內存溢出
cost 277 ms
如果通過 SCDF API 調用啟動的一個任務將通過 SCDF API 調用啟動其他任務，那么使用 Spring 批處理的模式是否正確？

[英]Is it right pattern of using Spring batch if one task that is launched through SCDF API call will launch other task through SCDF API calls?

我需要有一個計划批次來確定我需要重新啟動或重新提交（作為新作業實例）的批次。 計划批次將識別並調用 SCDF API 以啟動任務。 有這樣一批真的是好的設計模式嗎？ 我可以實現上面的要求模式，但這是一個很好的做法，或者任何人都可以建議什么是替代方法。 ...

谷歌索引 API rateLimitExceeded

[英]Google Indexing API rateLimitExceeded

我有一個 Spring 批處理過程，它向 Google 索引 API 提交了大約 500 萬個 url。過去，該過程被分段並通過一個屬性並行化為兩個線程，一個用於小段，一個用於大段。 從前幾天到現在，它被重構為從查詢響應來提交請求（按優先級排序，忽略之前的分段屬性，使用單線程執行）。 重構之后，我 ...

如何使用 spring 批處理 s3 存儲桶中的大文件

[英]How to process a large file from a s3 bucket using spring batch

你好，我正在嘗試執行后續帖子評論中發布的示例。 我正在訪問存儲桶並讀取文件列表，但是當我 go 執行閱讀器時，我收到以下錯誤消息：“原因：java.lang.IllegalStateException：輸入資源必須存在（閱讀器處於“嚴格”模式） : ServletContext 資源 [/s3:// ...

使用 springbatch 讀取不同的 csv

[英]Reading Different csv's using springbatch

您好，我需要幫助使用 spring 批處理讀取不同的 csv 文件。 文件類型不同，無法理解如何閱讀。 有人可以幫我解決這個問題嗎？ 我正在使用 FlatFileItemReader 讀取一個文件。 我需要閱讀多個文件示例： 我需要讀取所有文件進程並插入到數據庫中。 ...

Spring 使用MultiResourceItemReader 和使用ItemReadListener 批量讀取文件

[英]Spring batch reading files with MultiResourceItemReader and using ItemReadListener

場景如下：我有一個 Spring 批處理讀取多個輸入文件，處理它們，最后生成更多 output 文件。 使用 FlatFileItemReader 並使用 cron 重新啟動整個批處理，我可以一個接一個地處理文件，但是每隔 X 秒重新啟動批處理只是為了單獨處理文件是不可行的。 PS：我使用 Ite ...

創建名為“scopedTarget.taskExecutor”的 bean 時出錯

[英]Error creating bean with name 'scopedTarget.taskExecutor'

在從 UI 調用 rest-api 后，我正在啟動一個 spring 批處理作業。 我需要使 rest-api 調用異步，當我在服務 class 中的 function 上使用@Async時，其中設置了批處理作業參數並啟動了作業，我收到以下錯誤 它是一個 spring-boot 項目，有一個 spr ...

Spring Batch 5.0 with Spring Boot -- Tasklet 作業未自動啟動

[英]Spring Batch 5.0 with Spring Boot -- Tasklet job not starting automatically

我有一個非常簡單的 Spring Boot 項目，帶有 Spring Batch 5.0 和一個 CommmandLineRunner。 有一個 Job、一個步驟和一個簡單打印“Running”的 tasklet。 我按照指示進行，希望工作能夠開始並完成。 沒有錯誤； 正在創建 Batch 數據庫表 ...

Spring 批量 Itemwriter 界面修復

[英]Spring Batch Itemwriter Interface fix

spring 版本 5 更改了 Itemwriter 的寫入方法。 上面的編寫器是 FlatFileItemWriter。 我改為以下 這是更換/修復的正確方法嗎？ 需要一些幫助。 我期待正確的修復。 期待 coreect 更換。 ...

使用 spring 批處理，單步執行多個閱讀器

[英]Multiple readers in single job in single step using spring batch

我是spring批次的新手。 我有一個用例，我必須從特定文件夾中讀取文件並將這些文件寫入數據庫。 例如，我在這樣的文件夾中有一個文件 -公司組 | -my_company_group.json -my_company_group_alternate_id.json -sg_company_grou ...

Spring 批量分區作業 JMS 確認

[英]Spring Batch partitioned job JMS acknowledgement

賞金將在 6 天后到期。 此問題的答案有資格獲得+100聲望賞金。 Arnold Galovics想讓更多人關注這個問題。 假設我有一個 Spring 批處理遠程分區作業，即我有一個啟動作業並對工作進行分區的管理器應用程序實例，並且我有多個正在執行各個分區的工作人員。 將分區發送給工作人員的消息 ...

Creating Prototypes in a stepscope in Spring Batch 以便可以注入參數

[英]Creating Prototypes in a stepscope in Spring Batch so that parameters can be injected

問題： 我想在批處理作業中創建一個不同的閱讀器原型，但是我也想為每個閱讀器注入參數。 原型需要注釋'@Scope("prototype")'，參數注入需要'@Scope("step")'。 有沒有辦法創建一個原型，我也可以在其中注入我的參數？ 背景： 我有一個批處理作業負責處理不同類型的輸入。 每種 ...

無法使用 ThreadPoolExecutor 和 Spring Batch 限制並行度

[英]Unable to limit the parallelism using ThreadPoolExecutor with Spring Batch

這是我的配置： 我得到的例外是： 所以我認為這與this有關。 從TaskExecutor bean 中刪除/添加@StepScope不會改變結果，但是，完全刪除TaskExecutor可以解決問題。 我只是想限制按照此處處理的並行分區的數量。 我怎么go一下呢？ ...

Spring 重試 Spring 批次不重試

[英]Spring Retry not retrying in Spring Batch

我有一個配置文件，其中包含： 和單獨的 class 中的另一種方法具有： 至少它應該重試並打印 3 次而不是一次，因為它沒有通過。 所有注釋均已成功導入。 它只是沒有做我所期望的。： 我得到的只是一個 ValidationException 的堆棧跟蹤 ...

我收到 ORA-01008: not all variables bound: 當我試圖通過 SQLPagingQueryProviderFactoryBean 讀取 oracle 數據庫時出錯

[英]I am getting ORA-01008: not all variables bound : Error when I am trying to read a oracle DB via SQLPagingQueryProviderFactoryBean

以下是 Spring 啟動 JDBC 項目閱讀器調用分頁查詢查詢提供程序的代碼片段。 final SqlPagingQueryProviderFactoryBean testVar = new SqlPagingQueryProviderFactoryBean(); SqlPagingQuery ...

spring 帶分區的批處理作業：在 Oracle session 中設置 clientInfo 不適用於所有分區

[英]spring batch job with partitions : setting clientInfo in an Oracle session not working for all partitions

我有一個使用分區的 spring 批處理作業，讀取器是 JdbcCursorItemReader，所以在這個讀取器中我需要授權才能讀取正確加密的數據，所以當我聲明我的讀取器時調用下面的方法。 問題是 somme partions 為需要解密的字段讀取了 null 值，唯一的原因是未設置授權（我檢查數 ...

SpringBoot 3：SpringBatch 5 的數據源問題

[英]SpringBoot 3: DataSource issue with SpringBatch 5

作為遷移到 Spring Batch 5.0 的一部分，文檔說javax.*類已替換為jakarta.* 。 但是，Spring 批次 API 仍然引用了javax. . 這是JdbcCursorItemReader的示例。 在 Spring 第 5 批中，我目前看不到讀取或讀取數據庫的前進方向， ...

嘗試更新作業后的記錄時，批處理拋出“沒有正在進行的事務”

[英]When trying to update record in after job, batch throws "No transaction is in progress"

我在這批處理中使用了三個不同的數據源。 一切運行良好。 Job Repository 是基於地圖的，並使用 ResourcelessTransactionManager 來實現。 我是這樣配置的 我還使用不同的 platformtransactionmanager 然后 spring 批次（問題 ...

如果我沒有 setSaveState(false)，帶有排序鍵的 JdbcPagingItemReader 在空查詢的多線程步驟中崩潰；

[英]JdbcPagingItemReader with sort key crashes in multithreaded step for empty query if I do not have setSaveState(false);

我正在使用 Spring 批處理版本 4.3.5 處理 Spring 批處理應用程序。 當沒有記錄時，我在 JdbcPagingItemReader 中遇到錯誤。 值得一提的是，我在多線程步驟中使用了這個閱讀器。 org.springframework.dao.InvalidDataAccess ...

Spring 批量異常處理作為ResponseEntity發送

[英]Spring batch exception handling sended as ResponseEntity

我是 Spring 啟動的新手，我正在接受Spring 批次的小項目培訓以獲得經驗，這里是我的背景：我有2 個 csv 文件，一個包含員工，另一個包含公司的所有經理。 我必須讀取文件，然后將每條記錄添加到數據庫中。 為簡單起見，我只需要從我的 controller 調用一個端點，上傳我的 csv 文 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM