python-scrapy：如何在Spider内获取URL（而不是通过以下链接）？

Question

我如何在我的Spider内放置一些东西，该东西将获取一些URL，以通过HtmlXPathSelector从页面中提取一些东西？ 但是，URL是我想作为代码内的字符串提供的，而不是要跟随的链接。

我尝试过这样的事情：

req = urllib2.Request('http://www.example.com/' + some_string + '/')
req.add_header('User-Agent', 'Mozilla/5.0')
response = urllib2.urlopen(req)
hxs = HtmlXPathSelector(response)

但目前，它引发了以下异常：

[Failure instance: Traceback: <type 'exceptions.AttributeError'>: addinfourl instance has no attribute 'encoding'

Answer 1

您将需要使用body = urllib2.urlopen（req）.read（）构造一个scrapy.http.HtmlResponse对象-但是为什么您确实需要使用urllib2而不是使用回调返回请求？

Answer 2

scrapy并未明确显示如何进行单元测试，如果您要对每个蜘蛛进行单元测试，我不建议使用scrapy来爬取数据。