[英]Twisted: how to know when all the data has been received?
self.agent = Agent(reactor, pool=pool)
self.deferred = self.agent.request(
'GET',
self.url,
Headers({'User-Agent': ['Mozilla/5.0']})
)
self.deferred.addCallback(self.gotResponse)
但是gotResponse要求接收到的數據的每個部分,而不是全部。 我可以收集它,但是如何知道我得到了所有數據呢?
編輯:
我發現了這一點 (來自“ 如果響應主體已被完全接收 ”),但仍然不知道如何實現這一點。 我的意思是, “失敗將包裹……”是什么意思?
在Twisted 13.1.0中,可以使用readBody()。 來自http://twistedmatrix.com/documents/13.1.0/api/twisted.web.client.readBody.html ,“這是不希望增量接收HTTP響應正文的客戶端的幫助程序功能。 “
您從上面的示例中的回調dataReceived()中調用readBody()來處理數據,readBody()返回一個deferd,您附加了另一個將整個主體作為參數的回調。
HTH,重塑。
扭曲的文檔提供了如何執行此操作的示例。
來自http://twistedmatrix.com/documents/current/web/howto/client.html
from pprint import pformat
from twisted.internet import reactor
from twisted.internet.defer import Deferred
from twisted.internet.protocol import Protocol
from twisted.web.client import Agent
from twisted.web.http_headers import Headers
class BeginningPrinter(Protocol):
def __init__(self, finished):
self.finished = finished
self.remaining = 1024 * 10
def dataReceived(self, bytes):
if self.remaining:
display = bytes[:self.remaining]
print 'Some data received:'
print display
self.remaining -= len(display)
def connectionLost(self, reason):
print 'Finished receiving body:', reason.getErrorMessage()
self.finished.callback(None)
agent = Agent(reactor)
d = agent.request(
'GET',
'http://example.com/',
Headers({'User-Agent': ['Twisted Web Client Example']}),
None)
def cbRequest(response):
print 'Response version:', response.version
print 'Response code:', response.code
print 'Response phrase:', response.phrase
print 'Response headers:'
print pformat(list(response.headers.getAllRawHeaders()))
finished = Deferred()
response.deliverBody(BeginningPrinter(finished))
return finished
d.addCallback(cbRequest)
def cbShutdown(ignored):
reactor.stop()
d.addBoth(cbShutdown)
reactor.run()
請求完成后,將調用BeginningPrinter的connectionLost()方法。
Response version: ('HTTP', 1, 0)
Response code: 302
Response phrase: Found
Response headers:
[('Location', ['http://www.iana.org/domains/example/']), ('Server', ['BigIP'])]
Finished receiving body: Response body fully received
看起來好像檢查if reason.check(twisted.web.client.ResponseDone)
是否會告訴您它是否成功。
我不了解足夠多的扭曲知識,無法為您提供正確的答案...但是我可以指出一些正確的方向。
使用扭曲的遞延延遲,您將創建一連串的回調(成功)和錯誤(失敗),這些回調在完成某些操作時觸發。
在您的示例中-我不確定self.agent.request做什么,或者為什么它可能返回部分數據。 這對我來說聽起來並不完全“正確”,但是通常我會使用打包在延遲SemaphoreService中的阻止代碼來獲取url。
但是,根據您的代碼,我想建議兩件事:
一個-在這里閱讀有關延期的信息http://twistedmatrix.com/documents/current/core/howto/defer.html
b-您需要添加一個errback來處理錯誤的請求。 關於“包裝”的文字必須處理扭曲的問題並沒有真正引發錯誤的事實-相反,它使您可以定義要運行的errBacks,並且可以在其中捕獲錯誤。 更好地使用扭曲的人希望可以對此進行更適當的解釋-但是由於延遲是異步的,因此您需要這樣的機制來有效地處理錯誤。
class YourExample(object):
def your_example(self):
self.agent = Agent(reactor, pool=pool)
self.deferred = self.agent.request(
'GET',
self.url,
Headers({'User-Agent': ['Mozilla/5.0']})
)
self.deferred.addCallback(self.gotResponse).addErrback(self.gotBadResponse)
def gotBadResponse(self,raised):
"""you might have cleanup code here, or mark the url as bad in the database, or something similar"""
pass
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.