使用JSoup從Google搜索結果的所有頁面檢索所有鏈接

Question

我有以下代碼，用於使用JSoup在Java中解析HTML。

Document linksDoc = null; 
linksDoc = Jsoup.connect("http://www.google.com/search?q=jbutton").userAgent("Mozilla").get();
Elements titles = linksDoc.select("h3.r > a");

for(Element e: titles){
    System.out.println("text"+cnt+": " +e.attr("href"));
  } 

問題是我只能檢索首頁搜索結果鏈接。 我應該怎么做才能從Google搜索結果的其余頁面獲得鏈接。

Answer 1

如果要從第二頁獲取結果，請在URL上添加&start=10 。 對於第三頁，使用&start=20 ，依此類推。

Document linksDoc = Jsoup.connect("http://www.google.com/search?q=jbutton&start=10")
        .userAgent("Mozilla").get();
//...