[英]Processing event hub data using python
我正在使用 azure 事件中心 python SDK 通過此鏈接向事件中心發送和接收消息。 https://github.com/Azure/azure-event-hubs-python/tree/develop 。 我可以成功發送和接收消息。 但是我如何解析消息並從事件數據對象中檢索數據。 請在下面找到代碼。
import os
import sys
#import logging
from azure.eventhub import EventHubClient, Receiver, Offset
ADDRESS = 'sb://####.servicebus.windows.net/#####'
USER = '##########'
KEY = '##################################'
CONSUMER_GROUP = "$default"
OFFSET = Offset("-1")
PARTITION = "1"
total = 0
last_sn = -1
last_offset = "-1"
try:
if not ADDRESS:
raise ValueError("No EventHubs URL supplied.")
client = EventHubClient(ADDRESS, debug=False, username=USER, password=KEY)
receiver = client.add_receiver(CONSUMER_GROUP, PARTITION, prefetch=5000,
offset=OFFSET)
client.run()
try:
batched_events = receiver.receive(timeout=20)
except:
raise
finally:
client.stop()
for event_data in batched_events:
last_offset = event_data.offset.value
last_sn = event_data.sequence_number
total += 1
print("Partition {}, Received {}, sn={} offset={}".format(
PARTITION,
total,
last_sn,
last_offset))
except KeyboardInterrupt:
pass
如果我嘗試查看收到的 event_data,我可以看到以下消息。 event_data <azure.eventhub.common.EventData at 0xd4f1358>
event_data.message
<uamqp.message.Message at 0xd4f1240>
關於如何解析此消息以提取數據的上述任何幫助
從1.1.0
,有新的實用方法來提取消息的實際數據:
那么,過去是什么
import json
event_obj = json.loads(next(event_data.body).decode('UTF-8'))
就是現在:
event_obj = event_data.body_as_json()
對於使用 Event Hub 5.2.0 版的人——截至今天的最新版本( GitHub , 參考文檔),它與 1.1.0 版相同,即使用body_as_str()
或body_as_json()
。 但是客戶端發生了變化——新版本中有一個EventHubProducerClient
和一個EventHubConsumerClient
。 要打印接收到的事件的正文:
from azure.eventhub import EventHubConsumerClient
connection_str = '<< CONNECTION STRING FOR THE EVENT HUBS NAMESPACE >>'
consumer_group = '<< CONSUMER GROUP >>'
eventhub_name = '<< NAME OF THE EVENT HUB >>'
client = EventHubConsumerClient.from_connection_string(
connection_str, consumer_group, eventhub_name=eventhub_name
)
def on_event_batch(partition_context, events):
partition_context.update_checkpoint()
for e in events:
print(e.body_as_str())
with client:
client.receive_batch(
on_event_batch=on_event_batch,
starting_position="-1", # "-1" is from the beginning of the partition.
)
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.