使用webscrapig对网站进行压力测试

Question

我的朋友通过node.js编写了一个网站，我想帮助他进行压力测试，以防万一崩溃。 我用beautifulsoup进行了测试，效果很好。

码：

for i in range(0,1000):
    #i=i+1
    l=randint(2008, 2018)
    first="year=%d" %l
    k=randint(1600, 2400)
    second="cc=%d" %k
    url="http://xx.xxx.xxx.xxx:xxxx/outputData?{0}&{1}&submit=Submit".format(first,second)
    res = requests.get(url)
    soup=BeautifulSoup(res.text,'lxml')
    print(soup) 

如果要使用python使用1000条代码同时运行它，是否有其他方法可以对其进行测试，而不是依次运行1000次？ 谢谢！

Answer 1

您可以使用threading做到这一点。 但是我不建议创建1000个线程并同时运行它。

import threading
def testit():
    l=randint(2008, 2018)
    first="year=%d" %l
    k=randint(1600, 2400)
    second="cc=%d" %k
    url="http://xx.xxx.xxx.xxx:xxxx/outputData?{0}&{1}&submit=Submit".format(first,second)
    res = requests.get(url)
    soup=BeautifulSoup(res.text,'lxml')
    print(soup) 

threads = [threading.Thread(target=testit) for i in range(1000)] # Not recommend to use 1000 here

for t in thread:
    t.start()

Answer 2

使用线程。 打开n线程，并同时ping服务器。 您可以查看https://www.python-course.eu/threads.php

但是运行线程是一项占用大量CPU的任务，因此请确保将n保持受控状态。 为n赋予更高的值可能会使客户感到压力。