将对象的向量序列化为std :: string以与MPI一起使用

Question

我正在尝试通过MPI传递大小不同的std::vector<MyClass> 。 MyClass包含的成员是可能未初始化或大小不同的向量。 为此，我编写了一个serialize()和deserialize()函数，将这样的std::vector<MyClass>读写到std::string ，然后通过MPI进行通信。

class MyClass {
    ...
    int some_int_member;
    std::vector<float> some_vector_member;
}

std::vector<MyClass> deserialize(const std::string &in) {
    std::istringstream iss(in);

    size_t total_size;
    iss.read(reinterpret_cast<char *>(&total_size), sizeof(total_size));

    std::vector<MyClass> out_vec;
    out_vec.resize(total_size);

    for(MyClass &d: out_vec) {
        size_t v_size;
        iss.read(reinterpret_cast<char *>(&d.some_int_member), sizeof(d.some_int_member));
        iss.read(reinterpret_cast<char *>(&v_size), sizeof(v_size));
        d.some_vector_member.resize(v_size);
        iss.read(reinterpret_cast<char *>(&d.some_vector_member[0]), v_size * sizeof(float));
    }

    return out_vec;
}


std::string serialize(std::vector<MyClass> &data) {
    std::ostringstream os;

    size_t total_size = data.size();
    os.write(reinterpret_cast<char *>(&total_size), sizeof(total_size));

    for(MyClass &d: data) {
        size_t v_size = d.some_vector_member.size();
        os.write(reinterpret_cast<char *>(&some_int_member), sizeof(some_int_member));
        os.write(reinterpret_cast<char *>(&v_size), sizeof(v_size));
        os.write(reinterpret_cast<char *>(&d.some_vector_member[0]), v_size * sizeof(float));
    }
    return os.str();
}

我的实现原则上可以工作，但有时（并非总是如此！）MPI进程在我认为与序列化有关的位置崩溃。 发送的有效负载可能与MB的大小一样大。 我怀疑使用std::string作为容器不是一个好选择。 使用std::string作为char[]的容器是否有一些限制，我可能会遇到这里的巨大二进制数据？

（请注意，我不想将boost::mpi及其序列化例程一起使用，我也不想在我的项目中引入诸如cereal等庞大的库）

Answer 1

通常，对某些二进制数据使用std::string很好，尽管有些人可能更喜欢在C ++ 17中使用std::vector<char> -或std::vector<std::byte> （ 另请参见 ，注意C ++ 11字符串保证连续的数据）。 您的代码中存在两个重要的效率问题：

1. 您始终拥有整个数据的三个副本。 原始对象，串行string和中间[io]stringstream 。
2. 您无法在ostringstream预分配（保留）数据，这可能导致过度分配和频繁的重新分配。

因此，您浪费了大量内存，这可能会导致bad_alloc 。 就是说，这可能很好，您只是某处内存泄漏。 在不知道bad_alloc的原因和应用程序性能分析的情况下，无法确定这是否是您遇到的实际问题。