python html提取標簽

Question

如何執行以下操作：

1. 掃描html頁面（最好遍及整個域（www.python.org））並提取所有

h1 h2 ... hn標簽

並將所有標題寫入文件。 按照正確的順序：

從h1開始比h2

直到我們到達下一個h1

Answer 1

使用BeautifulSoup或PyQuery 。

Answer 2

鑒於需要掃描整個網站，您可能需要研究pycurl來抓取要抓取的文件。 但是請注意，不要以與DoS攻擊相當的方式訪問該站點。