[英]How can the start_urls for scrapy be imported from csv?
我嘗試從 csv 文件中抓取幾個網址(全部在 1 列中)。 但是,代碼不返回任何內容。 謝謝,妮可
import scrapy
from scrapy.http import HtmlResponse
from scrapy.http import Request
import csv
scrapurls = ""
def get_urls_from_csv():
with open("produktlink_test.csv", 'rbU') as csv_file:
data = csv.reader(csv_file)
scrapurls = []
for row in data:
scrapurls.append(column)
return scrapurls
class GetlinksgalaxusSpider(scrapy.Spider):
name = 'getlinksgalaxus'
allowed_domains = []
# An dieser Stelle definieren wir unsere Zieldomains
start_urls = scrapurls
def parse(self, response):
....
上一個答案:如何遍歷多個 URL 以從 Scrapy 中的 CSV 文件中抓取?l
此外,最好將所有方法放入 Scrapy 蜘蛛並顯式添加 start_requests。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.