獲取網頁並保存在數據庫中？

Question

如何獲取HTML頁面並將其保存到JAVA中的數據庫？有沒有簡單的方法可以做到這一點？

Answer 1

使用URL類通過http接收文件非常簡單：

String rawHtml = IOUtils.toString(new URL("http://yahoo.com").openStream());

IOUtils取自org.apache.commons.io，toString方法將整個輸入流讀入一個String。 不幸的是，通過使用java.net.URL除了網站的地址之外你無法控制任何東西（cookie，標題信息......）： - /就個人而言，我使用這種方法，因為HttpClient的API過於復雜（太多LOC）只需檢索網站的源代碼即可。

Answer 2

不確定您的確切要求。

對於簡單的東西，你可以使用HttpClient

對於更復雜的東西，你可以使用Nutch它也可以進行爬行，索引和搜索。