数据处理和选定记录的更新

Question

基本上，所需的工作是在数据库上存储大量记录，并且可以一直插入更多记录：

选择状态为“新”的<1000>条记录->处理记录->将记录更新为状态“完成”。

在我看来，这听起来像“ Map Reduce”。

我认为上述工作可以并行完成，即使使用不同的机器也可以 ，但是我担心的是：

当我选择状态为“ NEW”的<1000>条记录时-我怎么知道这些记录中的任何一条都没有被其他作业处理？

当然，同一记录的选择和处理不应超过一次。 性能至关重要。 天真的解决方案是循环执行上述基本工作。

似乎与大数据处理/ nosql / map reduce等有关。

谢谢

Answer 1

既然考虑了性能问题...我们可以实现这一目标。主要目标是将记录分发给客户，这样就不会给客户获得相同的记录。 我不管数据库...

1. 如果您还有另外一列用于锁定记录。 因此，在获取这些记录时，您可以设置锁定，以防止获取发送时间。

2. 但是，如果您没有这种能力，那么我的赌注将是使用Record主键和锁创建另一个表或im-memory键值存储，并且在获取记录时，您需要检查记录是否在其他表中不存在....

如果您拥有HBase那么可以很容易地实现它，并且首先可以实现性能。