如何将外部远程数据库复制到本地数据库？ （CouchDB / MongoDB）

Question

我想扩展可通过Web服务接口使用的远程数据库的数据模型。 可以通过HTTP GET请求数据，并以JSON形式提供（ 示例request ）。 也支持其他格式。

// URL of the example request.
http://data.wien.gv.at/daten/wfs?service=WFS&request=GetFeature&version=1.1.0&typeName=ogdwien:BAUMOGD&srsName=EPSG:4326&outputFormat=json&maxfeatures=5

JSON答案的第一个对象。

{
  "type": "FeatureCollection",
  "features": [
    {
      "type": "Feature",
       "id": "BAUMOGD.3390628",
       "geometry": {
          "type": "Point",
          "coordinates": [
             16.352910973544105,
             48.143425569989326
          ]
       },
       "geometry_name": "SHAPE",
       "properties": {
          "BAUMNUMMER": "1022 ",
          "GEBIET": "Strassen",
          "STRASSE": "Jochen-Rindt-Strasse",
          "ART": "Gleditsia triacanthos (Lederhülsenbaum)",
          "PFLANZJAHR": 1995,
          "STAMMUMFANG": 94,
          "KRONENDURCHMESSER": 9,
          "BAUMHOEHE": 11
       }
    },
...

我的想法是在自己的服务器上扩展数据模型（例如，添加文本字段），因此以某种方式镜像数据库。 我偶然发现了CouchDB及其基于文档的体系结构，该体系结构适合处理上述JSON对象。 现在，我要求您提供有关如何初始并定期复制外部数据库的建议。

您认为CouchDB是一个不错的选择吗？ 我也想到过MongoDB 。 如果可能，我想避免构建完整的Rails后端来设置复制。 您有什么推荐的吗？

Answer 1

如果远程数据库是静态的（数据不变），则它可以工作。 您只需要找到一种迭代所有记录的方法。 一旦弄清楚了，其余的就很简单了：1）查询数据； 2）将响应存储在本地数据库中； 3）根据需要进行修改。

如果远程数据发生更改，您将遇到很多麻烦（您必须不时以相同的方式重新同步）。 我要做的是创建一个仅包含新字段和对原始数据的引用的本地数据库。 也就是说，当您从远程服务请求数据时，您还要查看本地数据库中是否有内容，并在处理最终结果之前将两者合并。