为列表中的每个网站创建一个数据框

Question

为清楚起见重新提交。

我正在研究一个网络抓取脚本，它检查网站、抓取 html 信息，并使用命名实体识别工具在数据框中记录关键字段（位置、金钱、团队成员等）。 到目前为止，此脚本仅允许您通过更改url变量来使用单个网站的地址，因为我当前的代码仅循环通过第一个网站然后中止。

我正在尝试以列表的形式遍历约 5000 个网站，并在整个url列表中运行for循环。 这将为url列表中的每个网站创建一个数据框，但我不确定如何在 for 循环中对其进行格式化。

所有帮助表示赞赏。

下面的代码：

from bs4 import BeautifulSoup
import numpy as np
from time import sleep
from random import randint
from selenium import webdriver
import pandas as pd
import spacy
from spacy import displacy
import requests
import re
import en_core_web_sm
nlp = en_core_web_sm.load()
NER = spacy.load("en_core_web_sm")

final_list = ['https://www.google.com','https://www.bing.com', 'https://www.amazon.com']
pd.set_option("display.max_rows", None, "display.max_columns", None)

for i in range(0,2):
    driver = webdriver.Chrome("C:/Users/~~~/chromedriver.exe")
    url = final_list[i]
    driver.get(url)  
    sleep(randint(5,15))
    soup = BeautifulSoup(driver.page_source, 'html.parser')
    body=soup.body.text
    body = ' '.join(body.split())
    text3= NER(body)  
    displacy.render(text3,style="ent",jupyter=True)
    doc = NER(body)
    entities = [(e.label_,e.text) for e in doc.ents]  
  
    df[i] = pd.DataFrame(entities, columns=['Entity','Identified'])

driver.quit()