使用 Logstash 使用单个 Elasticsearch 索引从两个 mysql 表同步数据

Question

我有两个 mysql 表，我想将它们保存到单个弹性索引中。

表 1： Product有id ， name ...等。

表 2： ProductWarehouse有productId 、 warehouseId 、 qtyAvailable ...等

Product一对多ProductWarehouse

我的问题是，如何将每个product的ProductWarehouse记录保存为数组？

如果ProductWarehouse被修改了，如何在 Elastic 索引上体现出来？

最佳做法是什么？

Elastic 中的产品索引应如下所示：

{
 "id",
 "name": ...,
 "warehouses": [
   {"warehouseId": 1, "qtyAvailable": 3},
   {"warehouseId": 10, "qtyAvailable": 30}
 ]
}

Answer 1

我的建议是创建您需要的结构的 MySQL 视图：产品与 ProductWarehouse 连接。 此视图仅用于同步，然后使用 Logstash 将此视图同步到 ElasticSearch。

然后你可以使用 ElasticSearsh 索引作为这个结构：

{
 "id",
 "name": ...,
 "warehouses": 1
}
{
 "id",
 "name": ...,
 "warehouses": 3
}