在python中解析網址列表

Question

我正在嘗試使用urlopen從列表中的每個URL獲取一些文本。 但是，似乎urllib無法從列表中以字符串形式讀取每個url，並不斷返回此錯誤：

AttributeError: 'list' object has no attribute 'timeout'

當我嘗試在循環中將每個列表對象轉換為字符串時，它仍然無法讀取：

URLError: urlopen error unknown url type: ['https>

我的代碼如下所示：

for url in urls:
    str_url = str(url)
    page = urlopen(str_url).read()
    soup = bs(page)

這些值來自一個csv文件，其中每個網址都是一行。 當循環打印時，它看起來像這樣：

['premierleague.com/players/3861/player/overview#'] ['premierleague.com/players/2537/player/overview#'] ...等等

Answer 1

假設每行僅包含一個url字符串。 然后，您可以使用文件對象讀取每一行，這將返回一個字符串。

from urllib.request import urlopen

for url in open('your_url_list.csv', 'r'):
    url = 'http://' + url if 'http' not in url else url
    source = urlopen(url).read()