允许 Java JDK 11 HttpClient 的不安全 HTTPS 连接

Question

有时需要允许不安全的 HTTPS 连接，例如在一些应与任何站点一起工作的网络爬取应用程序中。 我在旧的 HttpsURLConnection API 中使用了一个这样的解决方案，该 API 最近被 JDK 11 中的新 HttpClient API取代。使用这个新 API 允许不安全的 HTTPS 连接（自签名或过期证书）的方法是什么？

UPD：我尝试过的代码（在 Kotlin 中，但直接映射到 Java）：

    val trustAllCerts = arrayOf<TrustManager>(object: X509TrustManager {
        override fun getAcceptedIssuers(): Array<X509Certificate>? = null
        override fun checkClientTrusted(certs: Array<X509Certificate>, authType: String) {}
        override fun checkServerTrusted(certs: Array<X509Certificate>, authType: String) {}
    })

    val sslContext = SSLContext.getInstance("SSL")
    sslContext.init(null, trustAllCerts, SecureRandom())

    val sslParams = SSLParameters()
    // This should prevent host validation
    sslParams.endpointIdentificationAlgorithm = ""

    httpClient = HttpClient.newBuilder()
        .sslContext(sslContext)
        .sslParameters(sslParams)
        .build()

但是在发送时我有异常（尝试使用自签名证书在本地主机上）：

java.io.IOException: No name matching localhost found

使用 IP 地址而不是 localhost 会出现“不存在主题替代名称”异常。

在对 JDK 进行了一些调试后，我发现sslParams在引发异常的地方确实被忽略了，并且使用了一些本地创建的实例。 进一步调试显示，影响主机名验证算法的唯一方法是将jdk.internal.httpclient.disableHostnameVerification系统属性设置为 true。 这似乎是一个解决方案。 上面代码中的SSLParameters没有任何作用，所以这部分可以被丢弃。 使其仅在全局范围内可配置看起来像是新 HttpClient API 中的严重设计缺陷。

Answer 1

正如所建议的那样，您需要一个忽略坏证书的SSLContext。 在问题中的一个链接中获取SSLContext的确切代码应该通过基本上创建一个不查看证书的null TrustManager来工作：

private static TrustManager[] trustAllCerts = new TrustManager[]{
    new X509TrustManager() {
        public java.security.cert.X509Certificate[] getAcceptedIssuers() {
            return null;
        }
        public void checkClientTrusted(
            java.security.cert.X509Certificate[] certs, String authType) {
        }
        public void checkServerTrusted(
            java.security.cert.X509Certificate[] certs, String authType) {
        }
    }
};

public static  void main (String[] args) throws Exception {
    SSLContext sslContext = SSLContext.getInstance("TLS");
    sslContext.init(null, trustAllCerts, new SecureRandom());

    HttpClient client = HttpClient.newBuilder()
        .sslContext(sslContext)
        .build();

上述问题显然是对所有站点完全禁用了服务器身份验证。 如果只有一个坏证书，那么您可以将其导入密钥库：

keytool -importcert -keystore keystorename -storepass pass -alias cert -file certfile

然后使用读取密钥库的InputStream初始化SSLContext，如下所示：

char[] passphrase = ..
KeyStore ks = KeyStore.getInstance("PKCS12");
ks.load(i, passphrase); // i is an InputStream reading the keystore

KeyManagerFactory kmf = KeyManagerFactory.getInstance("PKIX");
kmf.init(ks, passphrase);

TrustManagerFactory tmf = TrustManagerFactory.getInstance("PKIX");
tmf.init(ks);

sslContext = SSLContext.getInstance("TLS");
sslContext.init(kmf.getKeyManagers(), tmf.getTrustManagers(), null);

上述任何一种解决方案都适用于自签名证书。 第三种选择是服务器提供有效的非自签名证书，但对于与其提供的证书中的任何名称不匹配的主机，则系统属性为“jdk.internal.httpclient.disableHostnameVerification”可以设置为“true”，这将强制接受证书的方式与之前使用HostnameVerifier API的方式相同。 请注意，在正常部署中，不期望使用任何这些机制，因为应该可以自动验证由任何正确配置的HTTPS服务器提供的证书。

Answer 2

使用Java 11，您也可以在与HttpClient 共享的链接中所选答案中提到的类似工作：

HttpClient httpClient = HttpClient.newBuilder()
        .connectTimeout(Duration.ofMillis(<timeoutInSeconds> * 1000))
        .sslContext(sc) // SSL context 'sc' initialised as earlier
        .sslParameters(parameters) // ssl parameters if overriden
        .build();

带有样品请求

HttpRequest requestBuilder = HttpRequest.newBuilder()
            .uri(URI.create("https://www.example.com/getSomething"))
            .GET()
            .build();

可以执行为：

httpClient.send(requestBuilder, HttpResponse.BodyHandlers.ofString()); // sends the request

---

从注释更新，禁用主机名验证，目前可以使用系统属性：

-Djdk.internal.httpclient.disableHostnameVerification

可以通过编程方式设置如下： -

final Properties props = System.getProperties(); 
props.setProperty("jdk.internal.httpclient.disableHostnameVerification", Boolean.TRUE.toString());

Answer 3

提供不进行证书验证的 X509TrustManager（如上面的答案）不足以禁用主机名验证，因为 SSLContext 的实现“包装”提供的 X509TrustManager 和 X509ExtendedTrustManager，如果它不是 X509ExtendedTrustManager。 包装“扩展”X509ExtendedTrustManager 执行主机名验证。

因此，避免主机名验证的一种方法是提供一个不进行主机名验证的 X509ExtendedTrustManager。 这可以按如下方式进行：

SSLContext context = SSLContext.getInstance("TLS");
context.init(
    null,
    new TrustManager[]
    {
        new X509ExtendedTrustManager()
        {
            public X509Certificate[] getAcceptedIssuers()
            {
                return null;
            }

            public void checkClientTrusted(
                final X509Certificate[] a_certificates,
                final String a_auth_type)
            {
            }

            public void checkServerTrusted(
                final X509Certificate[] a_certificates,
                final String a_auth_type)
            {
            }
            public void checkClientTrusted(
                final X509Certificate[] a_certificates,
                final String a_auth_type,
                final Socket a_socket)
            {
            }
            public void checkServerTrusted(
                final X509Certificate[] a_certificates,
                final String a_auth_type,
                final Socket a_socket)
            {
            }
            public void checkClientTrusted(
                final X509Certificate[] a_certificates,
                final String a_auth_type,
                final SSLEngine a_engine)
            {
            }
            public void checkServerTrusted(
                final X509Certificate[] a_certificates,
                final String a_auth_type,
                final SSLEngine a_engine)
            {
            }
        }
    },
    null);

以通常的方式将此 SSLContext 提供给 HTTPClient.Builder（如前面的答案所示）。

这种方法的好处是可以在每个 HttpClient 基础上应用（即不是 JVM 范围的）。