如何用scrapy解析多个页面

Question

我不断收到错误消息：语法无效

1.add_xpath('tagLine', '//p[@class="tagline"]/text()')

而且我似乎无法弄清楚为什么会给我该错误，因为据我所知，它与所有其他1.add_xpath（）方法的语法相同。 我的另一个问题是如何请求其他页面。 基本上，我正在浏览一个大页面，并使其通过页面上的每个链接，然后在完成页面后，我希望它转到下一个大页面的下一个（按钮），但是我不知道怎么做。

   def parse(self, response):
    hxs = HtmlXPathSelector(response)
    for url in hxs.select('//a[@class="title"]/@href').extract():
        yield Request(url, callback=self.description_page)
    for url_2 in hxs.select('//a[@class="POINTER"]/@href').extract():
        yield Request(url_2, callback=self.description_page)

def description_page(self, response):
    l = XPathItemLoader(item=TvspiderItem(), response=response)
    l.add_xpath('title', '//div[@class="m show_head"]/h1/text()')
    1.add_xpath('tagLine', '//p[@class="tagline"]/text()')
    1.add_xpath('description', '//div[@class="description"]/span')
    1.add_xpath('rating', '//div[@class="score"]/text()')
    1.add_xpath('imageSrc', '//div[@class="image_bg"]/img/@src')
    return l.load_item()

任何帮助，将不胜感激。 在python和scrapy方面，我还是有点菜鸟。

Answer 1

def description_page(self, response):
    l = XPathItemLoader(item=TvspiderItem(), response=response)
    l.add_xpath('title', '//div[@class="m show_head"]/h1/text()')
    1.add_xpath('tagLine', '//p[@class="tagline"]/text()')
    1.add_xpath('description', '//div[@class="description"]/span')
    1.add_xpath('rating', '//div[@class="score"]/text()')
    1.add_xpath('imageSrc', '//div[@class="image_bg"]/img/@src')
    return l.load_item()

您有数字1而不是变量名l 。