簡體   English   中英

使用warcio創建帶有request.get()響應的warc記錄

[英]Creating a warc record with requests.get() response using warcio

我正在使用warcio庫讀取和寫入warc文件。

當嘗試從warcio requests.get(URL,stream=False)寫入響應對象的記錄時, warcio僅將HTTP標頭寫入記錄中,而不將有效負載寫入。 但是,啟用流模式后,它可以正常工作。

未啟用流模式時,是否可以存儲有效載荷?

我找到了一種解決方法,但不確定這是否正確。 我沒有使請求對象成為可流式傳輸,而是使有效負載可流式BytesIO(response.text.encode()) ,這似乎可行。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM