页面可通过firefox中的透明代理访问，但不能通过Java发布请求访问

Question

我正在尝试从该网站收集一些数据，问题是该网站仅接受来自阿尔及利亚IP地址的请求，而我发现的唯一基于阿尔及利亚的代理是透明的。

现在，当我在firefox中设置此代理时，我可以看到正确的格式，但是当我尝试从Java类中请求带有代理设置的页面时，它提示我“请求的URL被拒绝。请咨询与您的管理员”消息。

这是我用来连接到页面的代码（对于那些想自己尝试的人，代理的地址和端口在代码中）：

private static final String RESULT_URL = "http://bem.onec.dz/index.php";
private static String PROXY_AD = "193.194.87.226";
private static int PROXY_PORT = 8080;
Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(
                    PROXY_AD, PROXY_PORT));
URL url = new URL(adress);
URLConnection conn = url.openConnection(proxy);
conn.setDoOutput(true);

/* posting the request and reading the response */

我还尝试将代理设置为整个系统，并且存在相同的问题。

Answer 1

解决方案是为请求提供浏览器用户代理，而不是默认用户代理，因为该页面使用了基于该代理的过滤。