[英]How to process files with multiple threads so each file is processed by only one thread
我目前有一個產生50個線程的Java程序，其目標是查看一個目錄，該目錄中有許多文件被寫入並將這些文件上傳到ftp服務器然后刪除它們。 現在，我有一種超級hacky方式在每個線程中循環遍歷dir並在ConcurrentMap上設置鎖定以跟蹤線程何時處理相同的圖像以防止重復工作。 它工作但似乎不對。
所以問題是..在Java中，什么是在多線程程序中觀察目錄並確保每個線程只在一個其他人沒有的文件上運行的首選方式。
更新：我正在考慮創建一個線程池，每個線程的警告都有一個ftpclient連接，我必須保持打開並防止超時。
更新：如何使用http://download.oracle.com/javase/tutorial/essential/io/notification.html ？
使用ExecutorService將工作提交與線程邏輯本身的線程分離（另請查看父接口Executor的文檔，以了解更多有關其用途的信息）。
使用ExecutorService ，您只需將工作（在您的情況下，文件）提供給它，線程將在它們可用時進行工作。 您可以配置許多ExecutorServices選項和風格：單線程，最大線程數，無界線程池等。
也許有一個主線程搜索目錄並將任務提供給工作線程？
國際海事組織，它試圖寫一些自己這樣做的東西是很麻煩的。 並行批處理有很多細微差別，最好將API學習到為您完成的框架。
在過去，我使用過Spring Batch （開源）和Flux （需要許可證）。 它們都允許您配置監視文件目錄的作業，然后以並行方式處理這些文件。 只要您願意花時間學習其API，那么您無需擔心同步哪個進程處理哪些文件。
只需快速了解Spring Batch與Flux的優缺點：
我確信還有其他框架可以做到這一點......這些只是我熟悉的兩個框架。
我將設置一個文件處理程序類，它接受一個目錄並具有一個並發鎖定的.nextFile函數，該函數傳遞目錄中的下一個文件。 這樣每個線程都會請求一個文件，每個線程都會獲得一個唯一的文件
解決方案真的需要多線程嗎？ 除非每個連接限制到目標FTP服務器的最大上傳速度，否則一次發送一個更容易嗎？
通過單個FTP連接以1Mbps（假設最大上傳速度）順序發送50個1MB的文件並不比使用50個FTP連接以~20Kbps同時發送相同的50個文件慢，不是嗎？
如果我的CPU中的每個核心可以一次處理一個線程，那么如何使用16個或更多線程
[英]If each core in my CPU can process one thread at a time, how does using 16 or more threads by so much
如何使用多個線程處理存儲在本地磁盤中的大量文件（使用文件鎖）
[英]how to use multiple threads to process large number of files stored in the local disk ( using file lock)
如果多個線程正在更新同一個變量，應該做什么，以便每個線程正確更新變量？
[英]if multiple threads are updating the same variable, what should be done so each thread updates the variable correctly?
我的程序不斷創建多個線程，而我只希望創建一個后台線程。 如何防止創建額外的線程？
[英]My program keeps creating multiple threads where I only want one background thread created. How can I prevent additional threads from being created?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
