簡體   English   中英

用Java存儲數據。 文本文件,csv或其他方法?

[英]Storing data in Java. Text files, csv or other methods?

我正在創建一個用於從多個URL抓取鏈接的工具。 我要存儲此信息,然后測試已抓取鏈接的狀態。

我預計必須測試很多鏈接,大約60,000。 因此,我的問題是決定如何存儲要測試的鏈接。

我正在考慮為要抓取的URL創建文本文件。 我必須為要抓取的URL創建約40個文本文件(我要抓取的URL是相同的URL,只是區域化)。

  • 創建大量文本文件會導致性能問題嗎?
  • 我最好將URL存儲在數組中,然后將數組寫入文本文件,還是應該隨即將URL寫入文本文件? 或者,還有更好的方法?
  • 有沒有比存儲在文本文件中更好的方法? (我並不是很想使用數據庫,但是如果有一個很好的案例,我可以說服)

恕我直言,最簡單的方法是使用序列化來保存您的信息。 例如,序列化URL的Map<String, Set<String>> 多個文件也應該工作,而不會嚴重影響性能。 但實施時間略長

另一種方法-在mongolab注冊並使用免費帳戶。 (這不是廣告,我只是喜歡這項服務)您無需安裝任何軟件,只需下載mongo驅動程序並繼續

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM