簡體   English   中英

使用 python 處理事件中心數據

[英]Processing event hub data using python

我正在使用 azure 事件中心 python SDK 通過此鏈接向事件中心發送和接收消息。 https://github.com/Azure/azure-event-hubs-python/tree/develop 我可以成功發送和接收消息。 但是我如何解析消息並從事件數據對象中檢索數據。 請在下面找到代碼。

import os
import sys
#import logging
from azure.eventhub import EventHubClient, Receiver, Offset

ADDRESS = 'sb://####.servicebus.windows.net/#####'
USER = '##########'
KEY = '##################################'
CONSUMER_GROUP = "$default"
OFFSET = Offset("-1")
PARTITION = "1"


total = 0
last_sn = -1
last_offset = "-1"

try:
  if not ADDRESS:
      raise ValueError("No EventHubs URL supplied.")
  client = EventHubClient(ADDRESS, debug=False, username=USER, password=KEY)
  receiver = client.add_receiver(CONSUMER_GROUP, PARTITION, prefetch=5000, 
  offset=OFFSET)
  client.run()
  try:
      batched_events = receiver.receive(timeout=20)
  except:
      raise
  finally:
      client.stop()
  for event_data in batched_events:
      last_offset = event_data.offset.value
      last_sn = event_data.sequence_number
      total += 1
      print("Partition {}, Received {}, sn={} offset={}".format(
         PARTITION,
         total,
         last_sn,
         last_offset))

except KeyboardInterrupt:
   pass

如果我嘗試查看收到的 event_data,我可以看到以下消息。 event_data <azure.eventhub.common.EventData at 0xd4f1358> event_data.message

<uamqp.message.Message at 0xd4f1240>

關於如何解析此消息以提取數據的上述任何幫助

1.1.0 ,有新的實用方法來提取消息的實際數據:

那么,過去是什么

import json
event_obj = json.loads(next(event_data.body).decode('UTF-8'))

就是現在:

event_obj = event_data.body_as_json()

對於使用 Event Hub 5.2.0 版的人——截至今天的最新版本( GitHub參考文檔),它與 1.1.0 版相同,即使用body_as_str()body_as_json() 但是客戶端發生了變化——新版本中有一個EventHubProducerClient和一個EventHubConsumerClient 要打印接收到的事件的正文:

from azure.eventhub import EventHubConsumerClient

connection_str = '<< CONNECTION STRING FOR THE EVENT HUBS NAMESPACE >>'
consumer_group = '<< CONSUMER GROUP >>'
eventhub_name = '<< NAME OF THE EVENT HUB >>'

client = EventHubConsumerClient.from_connection_string(
        connection_str, consumer_group, eventhub_name=eventhub_name
    )

def on_event_batch(partition_context, events):
    partition_context.update_checkpoint()
    for e in events:
        print(e.body_as_str())

with client:
    client.receive_batch(
        on_event_batch=on_event_batch,
        starting_position="-1",  # "-1" is from the beginning of the partition.
    )

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM