[英]Retrieving all links from all pages of Google search result using JSoup
我有以下代码,用于使用JSoup在Java中解析HTML。
Document linksDoc = null;
linksDoc = Jsoup.connect("http://www.google.com/search?q=jbutton").userAgent("Mozilla").get();
Elements titles = linksDoc.select("h3.r > a");
for(Element e: titles){
System.out.println("text"+cnt+": " +e.attr("href"));
}
问题是我只能检索首页搜索结果链接。 我应该怎么做才能从Google搜索结果的其余页面获得链接。
如果要从第二页获取结果,请在URL上添加&start=10
。 对于第三页,使用&start=20
,依此类推。
Document linksDoc = Jsoup.connect("http://www.google.com/search?q=jbutton&start=10")
.userAgent("Mozilla").get();
//...
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.