與https模塊並發的API請求導致零星的ETIMEDOUT錯誤

Question

我正在進行大量調用，由於重試的次數，我已經計算了16981次對我們的第三方API的調用。 總共不應有超過1000-1500個呼叫，因此其中絕大多數可能是重試。 我很早就收到409，所以我的請求代碼重試，我認為這會導致級聯問題。 調用次數過多后，我遇到了ETIMEDOUT錯誤，因此我再次嘗試，這浪費了大量的執行時間。

我的ulimit是4864，所以我不知道它是否足夠低而不能成為問題。

如何重構代碼以更好地處理並發並避免這些不斷重試？ 我仍在學習，不確定如何解決此問題。

這是我的請求代碼：

'use strict';

const https = require('https');
const Url = require('url');
const util = require('util');

function createRequest(requestUrl, body, requestHeaders, type = 'GET') {
    // Creates a post request at url with the given body

    return new Promise((resolve, reject) => {

        const retry = function() {
            // console.log('retrying...');
            createRequest(requestUrl, body, requestHeaders, type);
        }

        const parsedUrl = Url.parse(requestUrl, true, true);
        const options = {
            hostname: parsedUrl.hostname,
            path: parsedUrl.path,
            method: type,
            headers: requestHeaders
        };
        const req = https.request(options, (res) => {
            // console.log("Retry after: ", res.headers.date);
            let responseString = '';

            res.on('data', (dataChunk) => {
                responseString += dataChunk;
            });

            res.on('end', () => {
                if (res.statusCode === 200) {
                    resolve(responseString);
                } else if (res.statusCode === 409) {
                    setTimeout(function() {
                        return resolve(createRequest(requestUrl, body, requestHeaders, type));
                    }, res.headers['retry-after'] * 1000);
                }
            });
        });

        if (type === 'POST') {
            req.write(JSON.stringify(body));
        }

        req.on('error', (error) => {
            if (error.code === 'ETIMEDOUT') {
                //console.log('Encountered ETIMEDOUT. Retrying call...');
                console.log('MError: ', util.inspect(error, { showHidden: true, depth: 2 }));

                setTimeout(function() {
                    return resolve(createRequest(requestUrl, body, requestHeaders, type));
                }, 1000);
            }
            // reject(error);
        });

        req.end();
    });
}

module.exports = {
    createRequest
};

錯誤：

MError:  { Error: connect ETIMEDOUT 52.49.220.252:443
at Object.exports._errnoException (util.js:1018:11)
at exports._exceptionWithHostPort (util.js:1041:20)
at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1086:14)
  [message]: 'connect ETIMEDOUT 52.49.220.252:443',
  code: 'ETIMEDOUT',
  errno: 'ETIMEDOUT',
  syscall: 'connect',
  address: '52.49.220.252',
  port: 443 }

Answer 1

如果超時，則可以增加超時時間，但是https.request()不能提供相同的選項。 您可以使用相同的請求模塊並設置超時的上限。 試試吧，讓我知道。