無法從從普通爬網爬網的warc文件中找到URL

Question

我已經從常規爬網中爬網了數據，我想找出與每個記錄相對應的url。

for record in files:
     print record['WARC-Target-URI']

這將輸出一個空列表。 我指的是以下鏈接https://dmorgan.info/posts/common-crawl-python/ 。 我們是否獲得對應於每個記錄的目標uri或僅一個warc文件路徑的一個目標uri？

Answer 1

您關注的信息是標題的一部分。 嘗試：

print record.header['WARC-Target-URI']