堆棧內存溢出
cost 155 ms
關於 Spring Batch 中 ItemStreamReader 和 ItemStreamWriter 用途的一些問題

[英]some questions about purpose of both ItemStreamReader and ItemStreamWriter in Spring Batch

我正在研究 Spring 批次。 我在我的 Spring 批處理項目中使用 ItemReader 和 ItemWriter。 但是，我的項目最大的問題是所有的數據讀取邏輯都在構造函數中，沒有分頁。 我認為這是非常不尋常和不正確的用法。 於是看了Spring Batch Documentations， ...

Spring 數據庫到數據庫的批量動態插入和更新

[英]Spring Batch Dynamic Insert and Update with DB to DB

在某些情況下，我們希望將數據從 DB 加載到 DB。 但是我們想檢查數據是否已經存在於目標系統中然后更新它，否則將它插入到數據庫中。 我們正在使用以下方法： 以上僅適用於插入。 我如何使用一個 JDBC 批量項目編寫器來動態更新它。 如果記錄已經存在於塊中。 ...

在 Spring 批處理中，與 ItemReader 調用鏈接我想調用 static util 方法來填充字符串

[英]In Spring Batch, linked with a ItemReader call I want to call a static util method to populate a string

我有一個 Spring 批處理閱讀器，具有以下配置。 該閱讀器正在從數據庫中讀取，並且一次讀取頁面大小記錄。 我想調用 utils 方法， 在處理器步驟之前，以便讀取器獲取的所有記錄都將具有由上述調用給出的相同設置值。 這樣讀取器獲取的所有實體將在處理器中獲得相同的值。 然后這個 refValue ...

Spring 批處理 - 如何將多個項目的列表從輸入傳遞到 ItemReader、ItemProcessor 和 ItemWriter

[英]Spring Batch- how to pass list of multiple items from input to ItemReader, ItemProcessor and ItemWriter

我有一個簡單的 csv 文件，我正在讀取 1000 個塊，插入到數據庫中。 現在，如果我想檢查該行是否存在於 db 中並且在插入之前是否等於輸入，如果存在並且行是否相等-忽略，否則插入或更新，我正在使用 ItemProcessor。 實施此操作后，意識到 jdbc 調用太慢（平均 120 毫秒）， ...

如何解決 MultiResourceItemReader Spring Batch 中的 NullPointerException

[英]How to resolve NullPointerException in MultiResourceItemReader Spring Batch

我正在使用MultiResourceItemReader從 S3 存儲桶中讀取多個文件，在執行myReader()方法之前我得到NullPointerException ，但是，在拋出異常后它會進入myReader()方法但itemProcessor方法沒有調用。 我相信由於NullPointer ...

如何解決輸入資源必須存在（閱讀器處於“嚴格”模式） Spring 批處理

[英]How to resolve Input resource must exist (reader is in 'strict' mode) Spring Batch

我正在我的 Spring Batch 應用程序中使用resourceLoader.getResource從 AWS S3 讀取文件，但出現以下異常： 我嘗試了多種解決方案，例如使用PathResource和其他方法，但沒有成功。 有人可以幫我解決這個問題嗎？ 請在下面找到我的reader方法： ...

如何使用spring批處理注釋配置讀取和執行批處理

[英]How to read and perform batch processing using spring batch annotation config

我有 2 個不同的文件，其中包含不同的數據。 該文件每天包含 10K 條記錄。 我想通過檢查今天和昨天文件的價格差異來創建最終輸出文件。 通過使用彈簧批次，我必須這樣做。 我嘗試通過創建兩個不同的步驟來進行批處理配置。 但它只能讀取數據。 但無法進行處理。 因為在這里我需要兩個文件的數據進行 ...

spring 批處理陷入並行處理，在串行處理中工作正常

[英]spring batch getting stuck in parallel processing where works fine in serial processing

我對 Spring Batch 很陌生，並嘗試使用單線程運行 Spring Batch。 現在我需要逐步添加多線程並具有以下配置，但是並行處理在一段時間后掛起並且在處理一些記錄后在控制台上沒有任何跟蹤。 早些時候對於單線程我使用 JdbcCursorItemReader 然后切換到 JdbcPagi ...

如何使用 spring 批處理讀取遠程位置生成的文件，處理並移動到另一個位置？

[英]How to read the Files generating at remote location, process and move to another location by using spring batch?

任何人都可以建議我需要遵循的方法來實現以下要求嗎？ 背景： 有一個遠程位置，例如"//severname/somefolder/somefile" 。 某些文件將在遠程位置每秒或每分鍾連續生成。 應該要求 Spring Boot 應用程序不斷檢查在遠程位置生成的新文件（通過某些調度程序） ...

Spring 批處理：動態或旋轉寫入器

[英]Spring Batch: dynamic or rotate writer

我正在嘗試進行下一個實施。 由於大小原因，我必須將我的 output 文件拆分為例如 10k 行塊。 所以，我需要在文件“out1.csv”中轉儲 10k，在文件“out2.csv”中轉儲下一個 10k，依此類推。 使用一個 output 文件，模式批處理：帶有讀取器-處理器-寫入器的塊非常簡單直接 ...

使用 spring 雲 stream kafka 動態更改 instanceindex

[英]Dynamically changing the instanceindex with spring cloud stream kafka

類似於： 在運行時更改 spring-cloud-stream 實例索引/計數我在微服務器架構中啟動批處理時做了一個 poc，我正在使用 Spring 批處理和 Spring Cloud Stream Kafka。 我正在尋找一種方法來動態創建消費者（處理器）應用程序的多個實例。 我看到可以定義多 ...

Spring 批量多進程重負載，每個進程下多線程

[英]Spring Batch multiple process for heavy load with multiple thread under every process

我有一個場景，我需要大約 50-60 個不同的進程同時運行並執行一個任務。 每個進程都必須使用 sql 查詢從數據庫中獲取數據，方法是傳遞一個值並獲取要在后續任務中運行的數據。 select col_1, col_2, col_3 from table_1 where col_1 =:Proces ...

在 spring 批處理中，我們如何將處理后的文件移動到另一個文件夾，我正在使用 MultiResourceItemReader 和塊處理

[英]In spring batch how can we move the processed files to another folder, I am using MultiResourceItemReader and chunk processing

在 Spring 批處理應用程序中，我們如何在處理每個文件時將文件從 BatchFileDir 文件夾移動到目標文件夾。 BatchFileDir 文件夾中會有一堆文件，所以我使用 MultiResourceItemReader。 我也在關注基於塊的處理。 我有所有的批處理文件： 項目閱讀器是： ...

SCDF 流（時間）不在本地選擇組合任務運行器

[英]SCDF stream (time) NOT picking composed-task-runner in local

在 SCDF (2.6.3) 中嘗試創建流來啟動復合任務，但沒有選擇，我錯過了什么？ 組合任務創建名稱為comp-task : AA && BB 我可以手動運行此組合任務，它同時執行 AA 和 BB 並正常退出。 當我嘗試通過流運行時，它根本沒有運行，甚至在 cron 中定義。 ...

我可以使用 SpringBatch 傳輸存在的 http 文件（視頻/txt）並讀取它並將其寫入我的電腦上嗎？

[英]Can I use SpringBatch to transfer file(video/txt) present of http and read it and write it on my pc?

現在我正在嘗試使用 springBatch 將一個 http 文件（示例：“https://www.w3.org/TR/PNG/iso_8859-1.txt”）寫入我的本地電腦。 但無法讀取文件。 我的閱讀器文件如下： 我正在從輸入中讀取 100 個長度的塊並將其傳遞給作者。 但我收到此錯誤： ...

Spring 批處理：為什么即使我捕捉到異常事務也會回滾

[英]Spring batch: Why transaction is rolling back even if I catching the exception

我正在使用 Spring Batch，我的步驟配置如下： 在我的作家中： 使用代碼，我希望如果批次出現問題，那么我將嘗試單個項目並跳過失敗的項目。 然而，這並沒有發生。 似乎事務丟失並且未恢復。 ...

我們可以使用spring Batch順序處理多個文件，而多個線程用於處理單個文件數據..？

[英]can we process the multiple files sequentially using spring Batch while multiple threads used to process individual files data..?

我想按順序處理多個文件，每個文件都需要在多個線程的幫助下進行處理，所以使用了 spring 批處理 FlatFileItemReader 和 TaskExecutor，它似乎對我來說工作正常。 正如要求中提到的，我們必須處理多個文件，因此與 FlatFileItemReader 一起，我正在使用 M ...

Spring批處理解決方案

[英]Spring Batch Solution

1 在我們的應用程序中，我們有大約 100000 個客戶，需要每月處理一些數據。 每個客戶的數據處理邏輯涉及，大約7個不同服務的休息調用。 我們需要在 spring 批處理中執行此操作以實現性能。 數據處理步驟--l讀取所有客戶列表-獲取數據web服務--l調用7個不同的微服務獲取余額、類型、 ...

Spring Batch在第一次運行時運行良好，但在第二次運行中運行良好……為什么總是失敗？

[英]Spring Batch run fine for 1st run, but for 2nd and so on runs… it keeps failing why?

我正在開發Spring Boot + Spring-Batch示例。 第一次，我能夠成功運行代碼，但是第二次運行，它給了我下面的錯誤。 有任何快速幫助嗎？ 有解決此問題的快速指南嗎？ 我真的很努力。 錯誤： 客戶.java CustomerRowMapper.j ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2025 STACKOOM.COM