从下拉菜单中刮擦，刮擦

Question

我正在尝试从下拉菜单中刮取某些城镇的名称。

html看起来像：

选项value =“ / salaries / THIS_IS_WHAT_I_WANT ” data-tn-link data-tn-element =“ loc_city []”> Acton

我已经试过了：

def parse_cities(self, response):
        for city in response.xpath('//select[@id="cmp-salary-loc-select"]/option/text()').extract():
            print(scrapy.Request(response.urljoin("/"+city)))

没有运气。

我知道

response.xpath('//select[@id="cmp-salary-loc-select"]/option').extract()

返回我需要的所有html，但是似乎无法获取值？

任何指针将不胜感激。 我还没有发布链接，因为我想尝试找出这个链接，而不是有人替我做！ 但是，如果你们认为这会有所帮助，会补充吗？

Answer 1

def parse_cities(self, response):
  for city in response.xpath('//select[@id="cmp-salary-loc-select"]/option/@value').extract():
     yield scrapy.Request(response.urljoin("/"+city), callback=some_method)