尝试通过 ZeroMQ 发布-订阅套接字 (C++) 发送和接收序列化 object 时出现 Cap'n Proto 未对齐数据错误

Question

我在我的 C++ 项目中使用 Cap'n Proto 和 ZeroMQ 进行进程间通信。 我有一个发送方和一个接收方，我正在通过 ZeroMQ 将 Cap'n Proto 消息从发送方发送到接收方。

当我尝试在接收方接收和反序列化消息时出现以下错误：

*Bprepheading
terminate called after throwing an instance of 'kj::ExceptionImpl'
  what():  capnp/arena.c++:76: failed: expected reinterpret_cast<uintptr_t>(segment.begin()) % sizeof(void*) == 0 [2 == 0]; Detected unaligned data in Cap'n Proto message. Messages must be aligned to the architecture's word size. Yes, even on x86: Unaligned access is undefined behavior under the C/C++ language standard, and compilers can and do assume alignment for the purpose of optimizations. Unaligned access may lead to crashes or subtle corruption. For example, GCC will use SIMD instructions in optimizations, and those instrsuctions require alignment. If you really insist on taking your changes with unaligned data, compile the Cap'n Proto library with -DCAPNP_ALLOW_UNALIGNED to remove this check.
stack: 7fc92d717865 7fc92d7178b2 7fc92d734def 55d19f2b114c 55d19f2b0528 7fc92d347d09 55d19f2b0299
Aborted

我假设我需要在接收端正确对齐数据，但我不知道该怎么做。

我的 Sender.cpp 代码

#include "../schema/message.capnp.h"
  
  #include <capnp/message.h>
  #include <capnp/serialize.h>
  #include <kj/std/iostream.h>
  #include <zmq.hpp>

int main() {
  
  // create a message builder
  capnp::MallocMessageBuilder message;
  Message::Builder messageBuilder = message.initRoot<Message>();

  // set the preparation and heading fields
  messageBuilder.setPreparation("prep");
  messageBuilder.setHeading("heading");

  zmq::context_t context(1);
  zmq::socket_t socket(context, ZMQ_PUB);

  socket.bind("tcp://*:5006");

  // serialize the message to a memory buffer
  kj::Array<capnp::word> serialized_message = capnp::messageToFlatArray(message);  
  
  while(true)
  {
    // create a ZeroMQ message from the serialized buffer
    zmq::message_t zmq_message(serialized_message.size() * sizeof(capnp::word));
    memcpy((void*)zmq_message.data(), serialized_message.begin(), serialized_message.size() * sizeof(capnp::word));
    socket.send(zmq_message);
  }

  return 0;
}

我的 Receiver.cpp 代码

#include "../schema/message.capnp.h"

#include <kj/array.h>
#include <capnp/message.h>
#include <capnp/serialize.h>
#include <kj/std/iostream.h>
#include <zmq.hpp>

int main() {
  
zmq::context_t context(1);
zmq::socket_t socket(context, ZMQ_SUB);

socket.connect("tcp://127.0.0.1:5006"); //or *
// socket.set(zmq::sockopt::subscribe, "");
socket.setsockopt(ZMQ_SUBSCRIBE, "", 0);

zmq::message_t zmq_message;
socket.recv(zmq_message, zmq::recv_flags::none);
std::cout << zmq_message.to_string() << std::endl;

// create a memory buffer from the received message
kj::ArrayPtr<capnp::word> buffer(reinterpret_cast <capnp::word*>(zmq_message.data()), zmq_message.size() / sizeof(capnp::word));

// create an input stream from the memory buffer
capnp::FlatArrayMessageReader message_reader(buffer); 
Message::Reader message = message_reader.getRoot<Message>();

// print the preparation and heading fields
std::cout << "Preparation: " << message.getPreparation().cStr() << std::endl;
std::cout << "Heading: " << message.getHeading().cStr() << std::endl;

return 0;
}

我的 cap'n 原型模式语言 Message.capnp

@0xbf5147cbbecf40c1;

struct Message {
  preparation @0 :Text;
  heading @1 :Text;
}

Answer 1

不幸的是，来自 ZeroMQ 的缓冲区似乎没有在字边界上对齐。 因此，您必须复制一份。 您可以使用以下代码来做到这一点：

auto buffer = kj::heapArray<capnp::word>(zmq_message.size() / sizeof(capnp::word));
memcpy(buffer.asBytes().begin(), zmq_message.data(), buffer.asBytes().size());

以这种方式失去 Cap'n Proto 的零拷贝优势很烦人。 但是，memcpy 仍然比通常的解析快很多。 不幸的是，没有办法解决这个问题——尽管许多 CPU 可以接受未对齐的读取，但 C++ 语言标准坚持认为它们是未定义的行为，因此编译器可能会执行假设读取对齐的优化。 例如，他们可能假设指针的低位为零。 所以事实证明你确实需要 alignment。