BeautifulSoup 隨機陷入 for 循環

Question

我一直在使用 BeautifulSoup 從網站上提取多頁評論，它的效果非常好，但在大型數據集上，總是卡在看似隨機的點上。

我的代碼始終遵循以下內容。

for x in range(len(reviews)):
    reviewsoups.append(BeautifulSoup(requests.get(reviews[x]).text, ‘html.parser))

我從來沒有得到任何錯誤或任何東西（除了隨機的 ConnectionReset 錯誤），但似乎循環隨機卡住到我一直必須中斷內核的地步（這通常需要 10 多分鍾才能實際工作）並從循環卡住的索引重新啟動該過程。

似乎在某些情況下，如果我在代碼運行時嘗試使用我的筆記本電腦（比如打開 Chrome 等），這會加劇這種情況。

任何人都可以幫忙嗎？ 不得不坐在我的筆記本電腦旁等待以防發生這種情況，這真是令人難以置信。

提前致謝。

Answer 1

我想我找到了解決辦法。

所以我試圖“湯”9000個網址。 我所做的是使用 globals() 函數迭代地創建變量，其想法是讓每個變量存儲 100 個湯，所以這將是 90 個變量，每個變量 100 個湯，而不是一個包含 9000 個的列表。

我注意到前幾百個非常快，然后變慢了，但是一次運行 100 個而不是不斷地拉長已經很大的列表會有所不同。

我也沒有崩潰。

請記住，在我卡在 8000 大關之后，我只在最后 1000 左右嘗試過這個，但它快得多並且沒有技術問題。

下次我將初始化一個包含每個變量的 for 循環，並將例如第 1056 個湯附加到第 11 個變量作為第 56 個元素（如果有意義的話）。