SQL Server与No-SQL数据库

Question

我已经继承了旧版内容交付系统，因此需要重新设计和重新构建它。 内容由内容提供商（例如Sony Music）提供，并由旧版.NET应用程序提取到SQL Server数据库中。

每个内容都有一些共同的属性（例如，标题和艺术家名称）以及一些特定于内容类型的属性（例如，MP3文件的比特率和视频文件的帧率）。

此信息存储在多个表的关系数据库中。 这些表的某些字段中可能具有空值，因为这些字段可能不属于内容的属性。 由于内容摄取系统不断从供应商处接收内容文件，然后将其元数据添加到数据库中，因此数据库一直处于写操作状态。

另外，还有一个面向公众的Web应用程序，允许最终用户购买摄取的内容（例如音乐，视频等）。 该Web应用程序完全依赖于Elasticsearch索引。 实际上，该应用程序根本看不到数据库，而是使用Elasticsearch索引作为数据源。 原因是在文本搜索方面，SQL Server的性能不如Elasticsearch快。

为了使数据库和Elasticsearch保持同步，有一个Windows服务，该服务从SQL Sever读取更新并将它们写入Elasticsearch索引！

如您所见，这里存在一些问题：

1. 数据保存在关系数据库中，这使得数据难以管理。 例如，有一个30亿条记录的表，用于存储每个内容的元数据作为键值对！ 对我来说，使用NoSQL数据库或索引会更有意义，因为它们允许在其中存储不同格式的文档。

2. Elasticsearch索引需要与数据库保持同步。 如果Windows服务由于任何原因无法正常工作，则索引将不会更新。 同样，当数据库中的插入/更新太多时，索引也需要一段时间才能更新。

3. 我们需要维护两个具有成本开销的数据源。

现在我的问题是：是否存在具有这些特征的NoSQL数据库？

1. 可以让我存储具有不同结构的文档吗？
2. 提供良好的文本搜索功能和性能？ 例如模糊搜索等
3. 允许同时对其数据进行多次更新？ 根据我的经验，Elasticsearch在并发更新方面存在问题。
4. 可以在Amazon AWS基础设施上安装和使用它，因为我们的新产品将托管在AWS上。 自动缩放和群集很重要。 例如DynamoDB。
5. 它会有一种GUI，以便支持人员或开发人员可以在某种程度上修改数据。

Answer 1

DynamoDB和ElasticSearch的组合可能适用于您的用例。

DynamoDB当然支持特征1、3、4和5。

现在有一个用于DynamoDB的Logstash输入插件 ，可以将其与ElasticSearch输出插件结合使用，以使表和索引保持实时同步。 ElasticSearch提供特征2。