更改python中的目录并通过scrapy spider提取.html文件名

Question

我写了一个蜘蛛，它爬过名为fid的文件夹，并提取所有子文件夹的名称作为链接。 现在的问题是，这些子文件夹中的每个子文件夹中都有一个html页面，我想提取所有这些html文件的名称并添加到当前的“ start_urls”中，以便我可以从所有这些html中抓取所需信息页面。 我努力了：

os.listdir()
glob.glob()

但是这些都不起作用。 请帮我解决一下这个。

Answer 1

一种stdlib方法是将os.walk与fnmatch结合使用：

import fnmatch
import os

start_urls = []

for root, dirnames, filenames in os.walk('/start/dir/'):
    for filename in fnmatch.filter(filenames, '*.html'):
        start_urls.append(os.path.join(root, filename))