MPI_SEND - 將結構作為向量發送

Question

考慮到這種結構：

struct Book {
 int id;
 string title;
};

這個向量：

vector<Book> books;

我如何使用MPI_Send來發送矢量books的元素？

我一整天都在試圖找到一種方法來做到這一點，但沒有結果。

Answer 1

由於title是一個固定大小N的char[N]數組，您可以創建一個新的數據類型並在MPI_Send使用它。 不幸的是，這種方法不適用於std::string作為數據成員。 但是您可以逐個元素發送std::vector<Book> 。

例如：

std::vector<Book> books;
// ...
const unsigned long long size = books.size();
MPI_Send(&size, 1, MPI_UNSIGNED_LONG_LONG, ...);
for (const auto& book : books) {
    MPI_Send(&book.id, 1, MPI_INT, ...);
    const unsigned long long len = book.title.length(); 
    MPI_Send(&len, 1, MPI_UNSIGNED_LONG_LONG, ...);
    MPI_Send(book.title.data(), len, MPI_CHAR, ...);
}

和

std::vector<Book> books;
unsigned long long size;
MPI_Recv(&size, 1, MPI_UNSIGNED_LONG_LONG, ...);
books.resize(size);
for (auto& book : books) {    
    MPI_Recv(&book.id, 1, MPI_INT, ...);
    unsigned long long len;
    MPI_Recv(&len, 1, MPI_UNSIGNED_LONG_LONG, ...);
    std::vector<char> str(len);
    MPI_Recv(str.data(), len, MPI_CHAR, ...);
    book.title.assign(str.begin(), str.end());
}
// ...

Answer 2

方法一

一種方法是將title設置為恆定長度。 然后，您可以圍繞結構構建 MPI 數據類型，如下所示：

#include "mpi.h"
#include <iostream>
#include <string>
#include <vector>

const int MAX_TITLE_LENGTH = 256;

struct Book {
  int id;
  char title[MAX_TITLE_LENGTH];
};

int main(int argc, char *argv[]){
  MPI_Init(&argc, &argv);

  std::vector<Book> books(343);

  MPI_Datatype BookType;
  MPI_Datatype type[2] = { MPI_INTEGER, MPI_CHAR };
  int blocklen[2] = { 1, MAX_TITLE_LENGTH };

  MPI_Aint disp[2];
  disp[0] = 0;
  disp[1] = sizeof(int);
  MPI_Type_create_struct(2, blocklen, disp, type, &BookType);
  MPI_Type_commit(&BookType);

  int myrank;
  MPI_Comm_rank(MPI_COMM_WORLD, &myrank);

  if (myrank == 0) {
    books[3].id = 4;
    MPI_Send(books.data(), 343, BookType, 1, 123, MPI_COMM_WORLD);
  } else if (myrank == 1) {
    MPI_Status status;
    MPI_Recv(books.data(), 343, BookType, 0, 123, MPI_COMM_WORLD, &status);
    std::cout<<books[3].id<<std::endl;
  }
  MPI_Finalize();
  return 0;
}

方法二

MPI 最適用於在已知大小的網格之間快速交換數字。 但它也可以作為一個方便的通信層。 為此，我們可以使用Cereal庫來序列化任意 C++ 對象，然后使用 MPI 發送序列化的表示，如下所示。 這比按設計使用 MPI 慢，因為有更多的中間副本，但提供了使用 C++ 的全部靈活性的靈活性。

#include "mpi.h"
#include <cereal/types/vector.hpp>
#include <cereal/types/string.hpp>
#include <cereal/archives/binary.hpp>
#include <sstream>
#include <string>

struct Book {
  int id;
  std::string title;
  template <class Archive>
  void serialize( Archive & ar ) { ar(id,title); }
};

template<class T>
int MPI_Send(const T &data, int dest, int tag, MPI_Comm comm){
  std::stringstream ss;
  { //Needed for RAII in Cereal
    cereal::BinaryOutputArchive archive( ss );
    archive( data );
  }
  const auto serialized = ss.str();
  return MPI_Send(serialized.data(), serialized.size(), MPI_CHAR, dest, tag, MPI_COMM_WORLD);
}

template<class T>
int MPI_Recv(T &data, int source, int tag, MPI_Comm comm, MPI_Status *status){
  //Get number of bytes in incoming message
  MPI_Probe(source, tag, MPI_COMM_WORLD, status);
  int num_incoming;
  MPI_Get_count(status, MPI_CHAR, &num_incoming);

  //Allocate a buffer of appropriate size
  std::vector<char> incoming(num_incoming);

  //Receive the data
  auto ret = MPI_Recv(incoming.data(), num_incoming, MPI_CHAR, source, tag, MPI_COMM_WORLD, status);
  std::stringstream ss;
  ss.write(incoming.data(), num_incoming);

  //Unpack the data
  {
    cereal::BinaryInputArchive archive(ss);
    archive(data);
  }

  return ret;
}

int main(int argc, char **argv){
  MPI_Init(&argc, &argv);

  std::vector<Book> books(343);

  int myrank;
  MPI_Comm_rank(MPI_COMM_WORLD, &myrank);

  if (myrank == 0) {
    books[3].id    = 4;
    books[3].title = "Hello, world!";

    MPI_Send(books, 1, 123, MPI_COMM_WORLD);

  } else if (myrank == 1){
    MPI_Status status;
    MPI_Recv(books, 0, 123, MPI_COMM_WORLD, &status);
    std::cout<<books[3].id<<" "<<books[3].title<<std::endl;
  }

  MPI_Finalize();

  return 0;
}