如何在Scrapy中使用全局变量解析响应？

Question

我将start_requets方法修改为：

def start_requests(self):
    array = list(open("file", 'r'))
    for i in array:
        yield self.make_requests_from_url("http://example.org/test.php?id=" + i)

如何在解析方法中访问i的值？

我尝试设置全局变量idd并添加

global idd
idd = i

在start_requests方法中，然后

def parse(self, response):
    item = DataItem()
    item['id'] = idd

但是所有项目的id字段都填充了idd的最后一个值。

我该如何解决？

Answer 1

一种（可能是最简单的）选择是将其传递给meta ：

yield scrapy.Request("http://example.org/test.php?id=" + i, 
                     meta={"index": i},
                     dont_filter=True)

然后，在parse()读取它：

def parse(self, response):
    index = response.meta["index"]