使用 Pika 和 RabbitMQ 发送 GZIP json

Question

我目前正在生成一个 json，我正在通过 RabbitMQ 发送它。但是它有 128 MB 的限制，而我的 json 消息超过 500 MB。 唯一可行的步骤是继续发送文件的 gzip 版本。 但是我无法使用 PIKA python 和 RabbitMQ 找到合适的文档

我已经尝试对 Json 进行编码和解码并发送消息。 但从技术上讲，它与通过 JSON 发送消息相同

Answer 1

Python 有gzip的标准库

import json
import gzip

data: dict = get_data(...)
data_bytes = json.dumps(data).encode()
compressed = gzip.compress(data_bytes)
send(compressed)

# ... sending the data over AMQP

compressed = receive(...)
decompressed = gzip.decompress(compressed)
data_decompressed = json.loads(decompressed.decode())

assert data == data_decompressed