[英]Jsoup meta refresh redirect
我想从元刷新重定向获取HTML页面,就像jsoup可以处理元刷新重定向一样 。
但是我无法正常工作。 我想在http://synchronkartei.de上进行搜索。 我有以下代码:
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class SynchronkarteiScraper {
public static void main(String[] args) throws Exception{
Document doc = Jsoup.connect("https://www.synchronkartei.de/search.php")
.data("cat", "2")
.data("search", "Thomas Danneberg")
.data("action", "search")
.followRedirects(true)
.get();
Elements meta = doc.select("html head meta");
for (final Element m : meta){
if (m.attr("http-equiv").contains("refresh")){
doc = Jsoup.connect(m.baseUri()+m.attr("content").split("=")[1]).get();
}
}
System.out.println(doc.body().toString());
}
}
进行搜索,从而导致刷新的临时站点打开了实际结果页面。 与转到http://synchronkartei.de相同,从下拉框中选择“ Sprecher”,在文本字段中输入“ Thomas Danneberg”,然后按Enter。
但是即使提取了刷新URL并进行了第二次连接,我仍然可以获得临时登录页面的内容,该内容可以在正文中看到。
那么,这里出了什么问题?
请注意,站点syncnkartei.de始终重定向到HTTPS。 由于它使用的是StartCom的证书,因此Java抱怨证书路径。 要使上述代码段起作用,必须将VM参数-Djavax.net.ssl.trustStore=<path-to-keystore>
与正确的证书一起使用。
我不得不承认,我不是Jsoup的专家,但是我知道有关Synchronkartei的一些细节。
Deutsche Synchronkartei支持OpenSearchDescriptions,该链接链接到/search.xml。 也就是说,您还可以使用https://www.synchronkartei.de/search.php?search={searchTerms}
将搜索字词添加到会话中。
您只需要一个带有会话ID的cookie“ sid”,Synchronkartei即可为您提供。 之后,直接发送至https://www.synchronkartei.de/index.php?action=search
请求将为您提供结果,而不管您的推荐人如何。
我的意思是,首先将请求发送到https://www.synchronkartei.de/search.php?search={searchTerms}
或https://www.synchronkartei.de/search.php?cat={Category}&search={searchTerms}&action=search
(如上所述),如果HTTP结果为200,但完全忽略了会话cookie,则完全忽略该结果。 之后,您向https://www.synchronkartei.de/index.php?action=search
发出请求,然后该请求将为您提供整个结果列表。
丰子
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.