使用无头浏览器设置检索 openid 不记名令牌

Question

使用 OkHttp3 很长一段时间以来，我一直在愉快地抓取一个网站。 但是，该网站的某些组件已经升级，现在正在使用额外的 OpenID 不记名身份验证。

由于此不记名令牌，我 99.9% 的肯定我的请求失败，因为当我使用 Chrome 开发工具检查时，我看到不记名令牌仅针对这些部分弹出。 此外，一些请求请求将转到以“.well-known/openid-configuration”结尾的链接。 此外，当我在 OkHttp3 代码中对浏览器中的不记名令牌进行硬编码时，一切正常。 如果没有代码，我会收到 401 非授权消息。

我认为我的浏览器仿真与实际情况不够接近，因此我决定使用无头浏览器设置来执行一些 javascript 调用。 由于我使用的是 Java，所以我使用了 HtmlUnit。 使用这个工具，我可以很快地成功抓取网站的部分内容（就像使用 OkHttp3 一样），但新更新的部分会再次失败。 我检查过，但在任何响应中都找不到承载令牌（在标头或 cookie 中也没有）。

这种方法（使用无头浏览器）有可能奏效吗？ 或者是否有我可以检查的替代方法。