Scrapy：存儲數據

Question

我是python和scrapy的新手。 我正在嘗試遵循 Scrapy 教程，但我不明白存儲步驟的邏輯。

scrapy crawl spidername -o items.json -t json

scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv 

我不明白的含義：

• -o
• -t
• - 放

謝謝您的幫助

Answer 1

您可以通過在項目目錄中鍵入scrapy crawl -h來查看可用命令列表。

scrapy crawl spidername -o items.json -t json

• -o指定轉儲項目的輸出文件名 (items.json)
• -t指定轉儲項目的格式（json）

scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv

• --set用於設置/覆蓋設置
• FEED_URI用於設置項目轉儲的存儲后端。 在這種情況下，它被設置為“output.csv”，它使用本地文件系統，即一個簡單的輸出文件。（對於當前示例 - output.csv）
• FEED_FORMAT用於設置（輸出）提要的序列化格式，即（對於當前示例 csv）

參考資料（Scrapy 文檔）：

1. 可用的工具命令（用於命令行）
2. 飼料出口

Answer 2

- 放

命令行提供的參數優先，覆蓋任何其他選項。

您可以使用 -s（或 --set）命令行選項顯式覆蓋一個（或多個）設置。

Example:

    scrapy crawl myspider -s LOG_FILE=scrapy.log

    sets the LOG_FILE settings value to `scrapy.log`

-o

指定輸出文件名和擴展名在那里你會寫刮下數據

Examples: 
    scrapy crawl quotes -o items.csv
    scrapy crawl quotes -o items.json
    scrapy crawl quotes -o items.xml

-t

指定序列化格式或如何被寫入項目

https://www.tutorialspoint.com/scrapy/scrapy_settings.htm