Node js TCP服务器，socket.on（'data'）-数据缓冲区包含高负载下的垃圾数据

Question

我使用节点js的网络服务器，并使用socket.on（'data'）函数接收数据。 为了解析TCP消息，我使用了解析缓冲区方法。 它使用前4个字节作为TCP消息的长度，以便我可以从TCP流中读取并形成单独的命令。总之，在高负载下发生的情况是，作为TCP流的一部分返回了一些垃圾数据，这导致问题。

function onConnect(client) {
var accumulatingBuffer = new Buffer(0);
var totalPacketLen = -1;
var accumulatingLen = 0;
var recvedThisTimeLen = 0;

client.on('data', function (data) {
    parseBuffer(client, data, accumulatingBuffer, totalPacketLen, accumulatingLen, recvedThisTimeLen);
});
}

这是parsebuffer方法。

function parseBuffer(client, data, accumulatingBuffer, totalPacketLen, accumulatingLen, recvedThisTimeLen) {
recvedThisTimeLen = Buffer.byteLength(data);
var tmpBuffer = new Buffer(accumulatingLen + recvedThisTimeLen);
accumulatingBuffer.copy(tmpBuffer);
data.copy(tmpBuffer, accumulatingLen); // offset for accumulating
accumulatingBuffer = tmpBuffer;
tmpBuffer = null;
accumulatingLen = accumulatingLen + recvedThisTimeLen;

if (accumulatingLen < PACKETHEADERLEN) { 
    return;
} else if (accumulatingLen === PACKETHEADERLEN) { 
    packetHeaderLen
    return;
} else {
    //a packet info is available..
    if (totalPacketLen < 0) {
        totalPacketLen = accumulatingBuffer.readUInt32BE(0);
    }
}
while (accumulatingLen >= totalPacketLen + PACKETHEADERLEN) {
    var aPacketBufExceptHeader = new Buffer(totalPacketLen); // a whole packet is available...
    accumulatingBuffer.copy(aPacketBufExceptHeader, 0, PACKETHEADERLEN, PACKETHEADERLEN + totalPacketLen);

    ////////////////////////////////////////////////////////////////////
    //process packet data
    var stringData = aPacketBufExceptHeader.toString();
    try {
        var JSONObject = JSON.parse(stringData);
        handler(client, JSONObject);


        var newBufRebuild = new Buffer(accumulatingBuffer.length - (totalPacketLen + PACKETHEADERLEN)); // we can reduce size of allocatin
        accumulatingBuffer.copy(newBufRebuild, 0, totalPacketLen + PACKETHEADERLEN, accumulatingBuffer.length);

        //init      
        accumulatingLen = accumulatingLen - (totalPacketLen + PACKETHEADERLEN); //totalPacketLen+4
        accumulatingBuffer = newBufRebuild;
        newBufRebuild = null;
        totalPacketLen = -1;

        //For a case in which multiple packets are transmitted at once.
        if (accumulatingLen <= PACKETHEADERLEN) {
            //need to get more data -> wait..
            return;
        } else {
            totalPacketLen = accumulatingBuffer.readUInt32BE(0);
        }
    } catch (ex) {
        console.log(ex + ' unable to process data');
        return;
    }
}
}

一切都很好，直到使用大量快速发送消息的客户端进行高模拟负载为止。 在ParseBuffer方法内部的那个时间点，第一行“ data.length”返回的内容大于TCP数据的长度。 这导致以UInt32BE的形式读取代码的垃圾，这导致totalpacketlength（告诉下一个数据包的长度）很高的值。 这导致丢失消息。 我错过了什么吗？ 请帮忙。

Answer 1

在parseBuffer()函数中执行此操作时：

accumulatingBuffer = tmpBuffer;

这只是将tmpBuffer分配给名为accumulatingBuffer的函数参数。 它不会更改onConnect()方法中的accumulatingBuffer变量。 这样，当您获得部分缓冲区时，就会丢失累积的部分。 传递给parseBuffer()的其他参数也存在相同的问题。 在parseBuffer()分配它们不会更改onConnect()相同名称的变量。

编写此代码的方法可能更简单，但保持相同结构的最简单方法是不传递单独的变量，而是传递具有这些变量作为对象属性的单个对象。 然后，当您分配给属性时，可以从onConnect()获得这些新值。

总体结构如下所示：

function onConnect(client) {
    var args = {};
    args.accumulatingBuffer = new Buffer(0);
    args.totalPacketLen = -1;
    args.accumulatingLen = 0;
    args.recvedThisTimeLen = 0;

    client.on('data', function (data) {
        parseBuffer(client, data, args);
    });
}

然后，在parseBuffer()进行相应的更改以将参数作为args对象的属性进行访问。 由于对象是通过指针传递的，因此当您从parseBuffer中分配给args对象的属性时，这些对象将在onConnect方法的args对象中可见。

---

仅供参考，我没有遵循函数中其他地方的全部逻辑，因此可能还会出现其他错误。 对于要尝试执行的相当常见的任务，此代码似乎有很多缓冲区副本，非常复杂。 这也是可能以前已经写过很多次，甚至可能存在于某些预构建库中的那种代码。