大于100 mio的大数据项目应选择哪种数据模型。 项目

Question

我正在一个大数据项目中，该项目从不同的在线卖家收集大量产品信息，例如价格，标题，卖家等（每件商品30个以上的数据点）。

通常，该项目有2个用例：

1. 在Web应用程序或窗口小部件中显示特定产品的最新数据点
2. 分析历史数据，例如价格历史，产品聚类，语义分析等

我首先决定使用MongoDB进行水平扩展，因为假定为该项目存储的数据在数百GB范围内，并且可以使用MongoDB在许多MongoDB实例之间动态分片数据。

不会一次收集每个产品的30多个数据点，但是在不同的时间，例如，一个爬虫在收集价格，几天后，另一个爬虫在收集产品说明。 但是，某些数据点可能会重叠，因为两个爬网程序都收集例如产品标题。 例如，结果可能是这样的：

Document 1:
{
'_id': 1,
'time': ISODate('01.05.2016'),
'price': 15.00,
'title': 'PlayStation4',
'description': 'Some description'
}

Document 2:
{
'_id': 1,
'time': ISODate('02.05.2016'),
'price': 16.99,
'title': 'PlayStation4',
'color': 'black'
}

因此，我最初提出了以下想法（想法1）：

• 如上所述，在一个特定爬网过程中找到的所有数据点最终都保存在一个文档中。 为了获取最新的产品信息，然后我将分别查询每个数据点并获取不超过某个阈值（例如一周）的最新条目，以确保产品信息对于“用例1”而言不会过时，并且我们拥有所有数据点（因为单个文档可能不包括所有数据点，而仅包括一个子集）。
• 但是，由于某些数据点（例如产品标题）不会定期更改，因此，仅一直保存所有数据（以便进行时间序列分析和高级分析）会导致数据库中大量冗余，例如同一产品即使不更改，说明也会每天保存。 因此，我认为我可以检查数据库中的最新值，并且仅在更改后才保存该值。 但是，这会导致很多额外的数据库查询（每个数据点一个查询），并且由于上述时间限制，无论数据点是否更改还是被所有者的网站删除，我们都会丢失信息商店。

因此，我正在考虑一个不同的解决方案（想法2）：

• 我想将所有数据点拆分到不同的文档中，例如，价格和标题分别存储在带有自己时间戳的单独文档中。 如果数据点未更改，则可以更新时间戳以指示该数据点未更改并且仍可在网站上使用。 但是，这将导致小数据点（例如，布尔值）的巨大开销，因为每个文档都需要有自己的键，时间戳等，才能使用索引快速查找/过滤/排序它们。

例如：

{
'_id': 1,
'timestamp': ISODate('04.05.2016'),
'type': 'price',
'value': 15.00
}

因此，我正在努力寻找适合该项目的模型和/或数据库。 总结起来，这些是要求：

• 收集亿万种产品（数百GB甚至TB）
• 产品信息的重叠子集由分布式爬虫在不同时间点检索
• 信息应存储在水平可扩展的分布式数据库中
• 数据冗余度应降至最低
• 有关数据点的时间序列信息应保留

对于可能有助于我推进项目的任何想法（数据模型/体系结构，不同的数据库，...），我将不胜感激。 在此先多谢！

Answer 1

是否已经知道并指定了字段/数据点？ 即，您有固定的架构吗？ 如果是这样，那么您也可以考虑关系数据库。

DB2有一个他们所谓的时态数据库。 数据库以“系统”形式透明地处理版本控制。 任何插入都会自动加上时间戳，每当您更新一行时，前一行就会自动迁移到历史记录表（保留其旧时间戳）。 之后，您可以在任何给定的时间点运行SQL查询，并且DB2将返回指定时间（或时间范围）的数据。 它们还具有“应用程序”形式，您可以在其中指定在插入行时该行有效的时间段（例如，如果价格在特定时间段内有效），但最终的SQL查询仍然可以正常工作方式。 无论哪种方式，总的来说，复杂性始终由数据库管理，您可以编写相对干净的SQL查询。

您可以在他们的DeveloperWorks网站上查看更多信息。

我知道其他关系数据库（例如Oracle）也具有用于时序数据的特殊功能，这些时序数据可以为您管理版本控制/时间戳记。

至于空间效率和规模，我不确定，因为我没有运行任何大数据库:-)

（OTOH，如果您没有固定的模式，或者您知道针对不同的数据输入将具有多个模式，并且无法使用稀疏表对其进行建模，那么像mongo这样的文档数据库可能是最好的选择）