[英]Creating a warc record with requests.get() response using warcio
我正在使用warcio
庫讀取和寫入warc
文件。
當嘗試從warcio
requests.get(URL,stream=False)
寫入響應對象的記錄時, warcio
僅將HTTP標頭寫入記錄中,而不將有效負載寫入。 但是,啟用流模式后,它可以正常工作。
未啟用流模式時,是否可以存儲有效載荷?
我找到了一種解決方法,但不確定這是否正確。 我沒有使請求對象成為可流式傳輸,而是使有效負載可流式BytesIO(response.text.encode())
,這似乎可行。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.