scrapy 如何正確導出到 json

Question

我正在使用scrapy抓取一堆網站，然后將整個過程中存儲的所有項目導出到一個json文件中。 這是我的輸出的樣子：

[
{ json formatted stuff....
{...
{...
{...
{...
}
][
{more json formatted stuff...
{...
{...
{...
{...
}
]
[
{even more json formatted stuff...
{...
{...
{...
{...
}
]

這不是我想要的形式。我知道scrapy異步處理請求，但由於某種原因，這個輸出似乎是錯誤的。 我不希望在導出到 json 文件的項目塊之間有方括號。 我抓取的所有項目實際上都在導出，但它們不應該都包含在一對方括號中嗎？ 我應該使用項目管道導出它嗎？ 我正在從我的腳本運行蜘蛛，所以我只是在 CrawlerProcess 命令中包含了提要設置。 這是我導出項目的方式：

process = CrawlerProcess({
    'FEED_FORMAT': 'json',
    'FEED_URI': 'result.json'
})
process.crawl(FirstSpider)
process.crawl(SecondSpider)
process.crawl(ThirdSpider)
process.crawl(FourthSpider)
process.crawl(FifthSpider)
process.crawl(SixthSpider)
process.start()

Answer 1

弄清楚了。 如果要將一堆項目導出為 json 格式，則必須使用 'FEED_FORMAT': 'jsonlines'。 希望這能讓一些人免於它引起我的頭痛......