如何從IMDB網站上抓取電影信息？

Question

我是Python的新手，正在嘗試抓取IMDB。 我正在抓取250部IMDB頂級電影的清單，並希望獲得每個唯一網站上的信息，例如每個電影的長度。

我已經有一個唯一URL列表。 因此，我想遍歷此列表，並針對該列表中的每個URL檢索該電影的“長度”。 這可以用一個代碼完成嗎？

for URL in urlofmovie:
    htmlsource = requests.get(URL)
    tree_url = html.fromstring(htmlsource)
    lengthofmovie = tree_url.xpath('//*[@class="subtext"]')

我希望lengthofmovie會成為所有電影長度的清單。 但是，它在第​​2行： htmlsource已經出錯。

Answer 1

要使其成為列表，您應該首先創建一個列表，然后將每個長度附加到該列表中。

length_list = []
for URL in urlofmovie:
    htmlsource = requests.get(URL)
    tree_url = html.fromstring(htmlsource)
    length_list.append(tree_url.xpath('//*[@class="subtext"]'))

小提示 ：由於您是Python的新手，所以建議您使用PEP8約定 。 您的變量命名可以使您（和其他開發人員）的生活更輕松。 （urlofmovie-> urls_of_movies）

但是，對於第2行：htmlsource，它已經出錯了。

請提供您收到的例外情況。