使用线程的Java jsoup无法正常工作

Question

我喜欢这样的页面：

www.foo1.bar
www.foo2.bar
www.foo3.bar
.
.
www.foo100.bar

我正在使用库jsoup并使用Thread同时连接到每个页面：

Thread matchThread = new Thread(task);
matchThread.start();

每个任务都以这种方式连接到页面并解析HTML：

Jsoup.connect("www.fooX.bar").timeout(0).get();

获得大量这些例外：

java.net.ConnectException: Connection timed out: connect
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.PlainSocketImpl.doConnect(PlainSocketImpl.java:351)
at java.net.PlainSocketImpl.connectToAddress(PlainSocketImpl.java:213)
at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:200)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:366)
at java.net.Socket.connect(Socket.java:529)
at sun.net.NetworkClient.doConnect(NetworkClient.java:158)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:388)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:523)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:227)
at sun.net.www.http.HttpClient.New(HttpClient.java:300)
at sun.net.www.http.HttpClient.New(HttpClient.java:317)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:970)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:911)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:836)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:404)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:391)
at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:157)
at org.jsoup.helper.HttpConnection.get(HttpConnection.java:146)

jsoup是否同时仅允许1个线程？ 还是我做错了什么？ 关于如何更快地连接到我的页面的任何建议，因为一个接一个地花费很长时间。

编辑：

所有700个线程都使用此方法，也许这是问题所在。 这个方法可以处理这么多线程还是单例？

private static Document connect(String url) {
    Document doc = null;
    try {
        doc = Jsoup.connect(url).timeout(0).get();
    } catch (IOException e) {
        System.out.println(url);
    }
    return doc; 
}

编辑：整个线程代码

public class MatchWorker implements Callable<Match>{

private Element element;

public MatchWorker(Element element) {
    this.element = element;
}

@Override
public Match call() throws Exception {
    Match match = null;
            Util.connectAndDoStuff();
    return match;
}

}

我所有的700个要素：

    Collection<Match> matches = new ArrayList<Match>();
    Collection<Future<Match>> results = new ArrayList<Future<Match>>();

 for (Element element : elements) {
        MatchWorker matchWorker = new MatchWorker(element);
        FutureTask<Match> task = new FutureTask<Match>(matchWorker);
        results.add(task);

        Thread matchThread = new Thread(task);
        matchThread.start();
    }
    for(Future<Match> match : results) {
        try {
            matches.add(match.get());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

Answer 1

我尝试了这个：

    ExecutorService executorService = Executors.newFixedThreadPool(5);
    List<Future<Void>> handles = new ArrayList<Future<Void>>();
    Future<Void> handle;
    for (int i=0;i < 12; i++) {
        handle = executorService.submit(new Callable<Void>() {

            public Void call() throws Exception {
                Document d = Jsoup.connect("http://www.google.hr").timeout(0).get();
                System.out.println(d.title());
                return null;
            }
        });
        handles.add(handle);
    }

    for (Future<Void> h : handles) {
        try {
            h.get();
        } 
        catch (Exception ex) {
            ex.printStackTrace();
        }
    }

    executorService.shutdownNow();

它几乎立即完成并打印正确的标题。 也许您有防火墙问题？ （“连接超时”表示根本无法访问服务器）

编辑：

我用过JSoup 1.7.1

编辑^ 2：

AFAIK，这应该证明关系JSoup-Thread上没有问题，因为它最终使用线程。

编辑^ 3：

另外，如果你使用代理服务器， 在这里是如何设置代理服务器设置。

编辑^ 4：

public static Document connect(String url) {
    Document doc = null;
    try {
        doc = Jsoup.connect(url).timeout(0).get();
    } catch (IOException ex) {
        ex.printStackTrace();
    }
    return doc;
}

并将调用函数重写为：

public Void call() throws Exception {                    
    System.out.println(App.connect("http://www.google.hr").title());
    return null;
}

给出相同的结果。 我唯一能想到的是一些隐式静态同步，但这没有多大意义，因为存在TimeOut异常：/请发布线程代码

编辑：

必须离开几个小时。 在这里，我所有的三个班都改写了

• 应用程式
• 比赛
• 火柴人

仍然可以工作，速度较慢，但​​是可以。 我绝对会推荐使用固定线程池来提高性能。

但是，我认为这一定是网络问题。 祝好运 ：）

编辑：

连接超时意味着根本无法访问目标服务器。 AFAIK，这意味着（服务器从不发送/客户端从不接收） TCP SYN + ACK消息 。

可以得出的第一件事是目标服务器不在线，但是有更多可能的原因导致此问题 ，其中一个原因可能是目标服务器超载了请求（在极端情况下，这是（D）DoS攻击 ）。

当前，您尝试了并行方法-每个请求都在其自己的线程中：

1）在700个线程中发出700个请求（不是700个请求，而是操作系统所能承受的最大数量）

2）通过n << 700个线程的线程池发出700个请求

首先，您可以尝试在每个请求中放置一个0到10 s的随机睡眠形式

Thread.currentThread.sleep(new Random().nextInt(10000)) 

但是鉴于目前的结果，这可能行不通。 接下来的事情是用注释中提到的顺序方法代替并行操作-每个请求都从单个主线程的for循环中一个接一个地运行。 您也可以尝试随机睡眠。

那是你最慢的（最慢的）方法，如果那行不通，我不知道该怎么解决:(

编辑：

通过使用5个线程的线程池，我成功下载了1141个足球比赛的标题。

• 应用程式
• 请求

此类站点可以保护自己的数据是合乎逻辑的，因此，在您进行开发和测试（以尽可能多的线程反复运行的方式运行）的大多数情况下，他们的系统都将您（IP）标识为想要其所有数据的爬虫数据，他们显然不喜欢也不想要，所以他们禁止了您。 他们只是决定甚至不拒绝您的请求，而是玩死了-因此连接超时。 现在这很有意义。 ew :)

如果这是正确的，您应该能够通过代理获得数据，但是要有礼貌并使用少于10个线程的线程池：）

Answer 2

Jsoup只是调用HTTPUrlConnection进行连接。 对于该连接是否失败没有影响。 可能影响防火墙的是防火墙和DDOS防护设备。 网站拒绝大量的同时连接不足为奇。