使用 urllib 和 BeautifulSoup 通過 Python 從網絡檢索信息

Question

我可以使用urllib獲取html頁面，並使用BeautifulSoup解析html頁面，看起來我必須生成要從BeautifulSoup讀取的文件。

import urllib                                       
sock = urllib.urlopen("http://SOMEWHERE") 
htmlSource = sock.read()                            
sock.close()                                        
--> write to file

有沒有辦法在不從 urllib 生成文件的情況下調用 BeautifulSoup？

Answer 1

from BeautifulSoup import BeautifulSoup

soup = BeautifulSoup(htmlSource)

無需寫入文件：只需傳入 HTML 字符串即可。 也可以直接傳遞urlopen返回的對象：

f = urllib.urlopen("http://SOMEWHERE") 
soup = BeautifulSoup(f)

Answer 2

您可以打開 url，下載 html，然后使用gazpacho一次性解析它：

from gazpacho import Soup
soup = Soup.get("https://www.example.com/")