Java JSoup URL连接

Question

我在网上搜索，但找不到任何帮助。

我有一个像这样的网址

String url = "http://www.rightmove.co.uk/property-for-sale/find.html?searchType=SALE&locationIdentifier=REGION%5E904&insId=3&radius=10.0&minPrice=&maxPrice=500000&minBedrooms=&maxBedrooms=&displayPropertyType=&maxDaysSinceAdded=&_includeSSTC=on&sortByPriceDescending=&primaryDisplayPropertyType=&secondaryDisplayPropertyType=&oldDisplayPropertyType=&oldPrimaryDisplayPropertyType=&newHome=&auction=false"

我尝试使用URLencoder.encode(url,"UTF-8")但是没有用。 有任何想法吗？？

我正在使用以下jsoup连接尝试对网页进行爬网。

 Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0 "
                + "(Windows NT 6.1)"
                + "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 "
                + "Safari/537.36").timeout(14000).followRedirects(false).
                ignoreContentType(true).get();

任何帮助，将不胜感激！

Answer 1

对于棘手的网址，我建议使用以下连接获取文本：

   String url = ""
   doc = Jsoup.parse(new URL(url).openStream(),  "ISO-8859-1", url);