Python 程序打开数千个 TCP 连接到服务器

Question

我需要编写一个 python 程序，该程序打开数千个到位于 LoadBalancer 后面的服务器场的持久连接。 环境是：基于 VirtualBox 的 CentOS 8.4.2105 VM，具有 4 个 VCPU 和 12GB 的 RAM。

我在 python 中编写了一个程序（我不是真正的开发人员），我注意到了这一点：

1. 如果我用 user1 运行程序，我可以打开 Max 32,665 个连接
2. 如果我用用户 1 运行程序的 2 个副本，我可以打开 Max 36,416 个连接
3. 我运行了该程序的 2 个副本，一个使用 user1，另一个使用 user2。 在这种情况下，我能够打开最多 45,549 个连接。
4. 我将 /proc/sys/kernel/threads-max 提高到 120000，现在我重复上面的 3)，我可以打开 64,512 个连接

我的目标是从单个 VM 打开到 LB 的 120K 连接。 VM 有多个接口。

所以基本上我的问题是：

1. 如何与单个用户建立 60K 或更多连接？
2. 有没有更好的方法来编写我的程序，这样我就不需要每个连接一个线程，这样我就不会达到这些 Max Thread 的限制？

程序是这样的：

from concurrent.futures import ThreadPoolExecutor as PoolExecutor
import http.client
import socket
import ssl
import time
import json
hostname = 'lb01'
port = 80
eco='{"id":"echo","method":"echo","params":[]}'

def get_it(ids):
    s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    s.connect((hostname,port))
  
    # message you send to server
    message = "a"
    while True:
  
        # message sent to server
        #s.send(message.encode('ascii'))
  
        # messaga received from server
        #data = s.recv(1024)
        while (1):
            time.sleep(60)
            #ssock.send(eco.encode())
  
ids=[]
for counter in range(100000,130000): 
   id=str(counter)
   print (id)
   ids.append(id)
print(ids)
with PoolExecutor(max_workers=30000) as executor:
    for _ in executor.map(get_it, ids):
        pass

这是ulimit -a的output：

[root@driver02 ~]# ulimit -a
core file size          (blocks, -c) unlimited
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 46964
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1000000
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 1000000
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited
[root@driver02 ~]# 

在 /etc/sysctl.conf 的底部我添加了

fs.file-max = 2097152
net.ipv4.ip_local_port_range = 1024 65535

At the bottom of  /etc/security/limits.conf I addedL
* soft nproc 1000000
* hard nproc 1000000
* soft nofile 1000000
* hard nofile 1000000

提前致谢