簡體   English   中英

如何從 csv 導入 scrapy 的 start_urls?

[英]How can the start_urls for scrapy be imported from csv?

我嘗試從 csv 文件中抓取幾個網址(全部在 1 列中)。 但是,代碼不返回任何內容。 謝謝,妮可

import scrapy
from scrapy.http import HtmlResponse
from scrapy.http import Request
import csv

scrapurls = ""

def get_urls_from_csv():
    with open("produktlink_test.csv", 'rbU') as csv_file:
        data = csv.reader(csv_file)
        scrapurls = []
        for row in data:
            scrapurls.append(column)
            return scrapurls

class GetlinksgalaxusSpider(scrapy.Spider):
    name = 'getlinksgalaxus'
    allowed_domains = []
    
    # An dieser Stelle definieren wir unsere Zieldomains
    start_urls = scrapurls

    def parse(self, response):

    ....

上一個答案:如何遍歷多個 URL 以從 Scrapy 中的 CSV 文件中抓取?l

此外,最好將所有方法放入 Scrapy 蜘蛛並顯式添加 start_requests。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM