抓取网站以获取一个数据

Question

我想从具有JAVA（Android）的网站中提取<div class="score">4.1</div> 。 我尝试了Jsoup ，尽管使用起来并不简单，但它在8秒内为我提供了该值，这非常慢。 您需要知道，该网站的页面源包含300,000个字符，而该<div>位于中间。

即使使用HttpClient并将源放入StringBuilder然后遍历整个字符串直到找到乐谱部分也更快（3-4秒）。

我无法尝试HtmlUnit，因为它需要大量的jar文件，并且过了一会儿Eclipse总是因其混乱而生气。

有没有更快的方法？

Answer 1

您可以简单地发送XMLhttpRequest，然后使用search（）函数搜索响应。 我认为这样会更快。

相似的问题： 在JavaScript中使用XMLhttpRequest检索源代码

为了使搜索更快，您可以简单地使用indexOf（[sting to search]，[starting index]）并指定起始索引（它不需要非常准确，只需缩小搜索范围即可）。

Answer 2

这是我所做的。 问题是我逐行阅读网页，然后将它们粘贴到StringBuilder并搜索特定部分。 然后我问自己：为什么我要逐行阅读然后将它们粘在一起？ 因此，我将页面读入ByteArray并将其转换为String。 抓取时间不到一秒钟！

try
    {
       InputStream is = new URL(url).openStream();
       outputDoc = new ByteArrayOutputStream();
       byte buf[]=new byte[1024];
       int len;
       while((len=is.read(buf))>0)
       {
          outputDoc.write(buf,0, len);
       }
       outputDoc.close();
        } catch(Exception e) {  e.printStackTrace(); }

try {
    page = new String(outputDoc.toByteArray(), "UTF-8");
        //here I used str.indexOf to find the part

}