python html提取标签

Question

如何执行以下操作：

1. 扫描html页面（最好遍及整个域（www.python.org））并提取所有

h1 h2 ... hn标签

并将所有标题写入文件。 按照正确的顺序：

从h1开始比h2

直到我们到达下一个h1

Answer 1

使用BeautifulSoup或PyQuery 。

Answer 2

鉴于需要扫描整个网站，您可能需要研究pycurl来抓取要抓取的文件。 但是请注意，不要以与DoS攻击相当的方式访问该站点。