对外部 API 的相同请求适用于 go、postman、curl，但不适用于 node.js

Question

我在执行对外部 API 的请求时遇到了一个奇怪的问题。 基本上我得到了 HTTP 请求的403错误响应，但是......只有在从节点环境调用它时。 我尝试通过终端卷曲，没关系。 我还尝试了 Postman 和 native go with net/http包，一切都很好，我得到了200响应。 但是无论我在 node.js 中使用什么工具（request、axios、unirest、got）我都做不到。 我很想与您分享整个请求，但不幸的是我不能:(

当我从 node.js 环境中调用它时，我只能向您展示一些响应详细信息。

这些是我收到403时服务器发送的标头：

  headers: {
    server: 'AkamaiNetStorage',
    'content-length': '228',
    'content-type': 'application/json',
    'x-edge-error': 'halt',
    'cache-control': 'max-age=122',
    date: 'Thu, 21 Oct 2021 16:17:41 GMT',
    connection: 'close'
  },

响应数据部分如下所示：

  data: {
    edge_error: 'halt',
    ref_id: '18.9d6656b8.1634833061.4b9f14b',
  }

我知道这个问题很奇怪，您可能无法在没有太多细节的情况下帮助我，但无论如何我都会尝试。 因此，如果有人知道什么可能会有所帮助，请随时提出答案。

最好的祝福 ;）

Answer 1

这可能是由于 TLS 指纹识别造成的。 当您发送请求时，Akamai 能够根据在 TLS 握手期间收集的信息（密码套件等）检测您正在使用 Node.JS。 该网站必须通过 Akamai 设置规则来阻止 Node.js。

尝试这样的事情：

const tls = require('tls');
const https = require('https');

const defaultCiphers = tls.DEFAULT_CIPHERS.split(':');
const shuffledCiphers = [
    defaultCiphers[0],
    // Swap the 2nd & 3rd ciphers:
    defaultCiphers[2],
    defaultCiphers[1],
    ...defaultCiphers.slice(3)
].join(':');

request = require('https').get('https://google.com', {
    ciphers: shuffledCiphers
}).on('response', (res) => {
    console.log(res.statusCode);
});
// source: https://httptoolkit.tech/blog/tls-fingerprinting-node-js/

更多信息可以在这里找到： https : //httptoolkit.tech/blog/tls-fingerprinting-node-js/