Datomic超出了GC的开销限制

Question

尝试使用此查询对原子实体进行计数

(d/q '[:find (count ?a) . :where [?a :type]] (d/db (conn)))

OutOfMemoryError GC overhead limit exceeded  [trace missing]

工作的想法，如果我尝试计算像

(d/q '[:find (count ?a) :where [?a :type "psp"]] (d/db (conn)))

[[400541]]

使用开发后端。

我是在做错什么，还是我应该尝试其他后端，还是其他？

这是stacktrace http://pastebin.com/C76mEhEJ ，它位于datomic.datalog内部的某个地方。

Answer 1

渴望使用Datomic查询。 即使使用聚合，也可以实现整个中间表示。 在您的情况下，这是数据库中所有实体的实体ID，类型，值部分的所有元组的集合。 当无法在内存中实现整个中间集时，您会看到这样的错误，但是查询的结构不是Datomic可以天真地告诉它将进行数据库扫描的结构（在这种情况下，它将抛出）。

如果您要扫描整个数据库， datoms 此处记录的datoms更合适，因为它会懒散地遍历所有与前缀匹配的datoms。 对于用datoms ，使用datoms进行数据库扫描的惰性seq方法可能类似于：

(count (dedupe (map #(:e %) (seq (d/datoms (d/db conn) :aevt :type)))))

这将从:aevt索引中获取所有具有属性:type :aevt （然后该属性是缩小结果范围的前导组件）。 我们将datoms输出作为seq ，并从每个datom中获取:e （实体ID），进行重复数据删除，因此我们仅计算唯一的实体。 如果这是一个基数属性，则可以避免此dedupe步骤。