[英]get specific data from website using JSOUP in Java?
我是HTML / CSS初學者,所以我對Selector(cssQuery)知之甚少...我只想獲取紅色矩形中的特定數據,如鏈接中的圖片所示。 請幫助我,謝謝。
格式:
標題,URL,位置,內容
這是代碼:
public class TestJSOUP {
public static void main(String[] args) throws Exception{
Document doc = Jsoup.connect("http://scholarship-positions.com/category/under-graduate-scholarship/").get();
Elements body = doc.getElementsByTag("a");
for (Element b : body) {
System.out.println(b.attr("href"));
System.out.println(b.text());
}
}
}
這是圖像-https : //i.stack.imgur.com/52Gbb.jpg
該網站限制抓取工具。 所以你需要像下面這樣指定UserAgent
Document doc = Jsoup.connect("http://scholarship-positions.com/category/under-graduate-scholarship/")
.userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36")
.get();
Elements es = doc.select("article");
for (Element b : es) {
String title = b.select("a[href], [title]").get(0).text();
String url = b.select("a[href]").get(0).attr("href");
String place = b.select("li.custom-fields-ak-organization").get(0).text();
String content = b.select("section.entry").get(0).text();
System.out.println(title + url + place + content);
}
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.