INSERT IGNORE在mysql模式下使用h2引发主键冲突

Question

我正在将Scopus数据刮到h2文件数据库中。 数据中有超过46,000,000条记录，每条记录都被视为不同的记录，这意味着要重复数百GB的数据（因此称为关系db）。 为了减少所有这些数据的插入时间，我最初创建了一组没有约束的临时表，然后稍后使用SELECT DISTINCT和GROUP BY强制唯一性将数据复制到实际表中。

一个例外是文档表和引用的文档表。 由于数据的格式，我可以保证每个记录都代表一个唯一的文档，因此我只需将它们插入到文档表中，然后再从引用的文档表中合并具有ID不在文档表中的行。

以下是相关代码：

CREATE TABLE document (docid varchar NOT NULL, title varchar, abstract varchar, docType varchar NULL, ref boolean);

CREATE TABLE refdoc (refid varchar NOT NULL, title varchar);

INSERT INTO document (docid, title, abstract, docType, ref)
VALUES ('2-s2.0-0000098715', 'title', 'abstract', 'ab', 'false');

INSERT INTO refdoc (refid, title)
VALUES ('2-s2.0-0000098715', 'title'),
VALUES ('2-s2.0-33947184743', 'title');

ALTER TABLE document
ADD PRIMARY KEY (docid);

ALTER TABLE document
ADD FOREIGN KEY (docType) REFERENCES doctype(abbrev);

INSERT IGNORE INTO document (docid, title, ref)
SELECT refid, title, 'true' FROM refdoc;

• 创建文件表
• 创建参考文件表
• 将记录插入文档表
• 将两个记录插入refdoc表中，包括重复记录
• 用主键更改文档表
• 用外键更改文档表
• 插入refdoc中与文档不冲突的行

INSERT IGNORE查询引发：org.h2.jdbc.JdbcSQLException：唯一索引或主键冲突：“ CONSTRAINT_INDEX_6 ON PUBLIC.DOCUMENT（DOCID）

我也尝试使用WHERE NOT EXISTS：

INSERT INTO document (docid, title, ref)
SELECT refid, title, 'true'
FROM refdoc
WHERE NOT EXISTS (
SELECT refid FROM refdoc
INNER JOIN document
ON document.docid = refdoc.refid );

但是看来，试图联接未建立索引的表实际上是不可能的-我没有尝试过涉及联接的任何工作。

作为最后的选择，我可以使用FileHashMap并仅转储refdoc表的内容，然后构造一个大型的PreparedStatement，例如：

INSERT INTO document (docid, title, ref)
SELECT ?, ?, 'true'
WHERE NOT EXISTS (
SELECT docid FROM document
WHERE docid = ? );

但是我显然不愿意这样做，因为这将永远。

Answer 1

最终找到了一个不涉及构造100,000,000条记录的批处理语句的解决方案。 问题是我需要强制执行以下操作：我要插入文档的refdocs不在文档表中，而且我只插入了refdoc表中的唯一行。 在此之前，我所有的解决方案都不能避免冲突，无法强制执行唯一性，或者涉及到对没有索引的表的联接。

这是解决方案的SQL：

CREATE TABLE document (docid varchar NOT NULL, title varchar, abstract varchar, docType varchar NULL);

CREATE TABLE refdoc (refid varchar NOT NULL, title varchar);

INSERT INTO document (docid, title, abstract, docType)
VALUES ('2-s2.0-0000098715', 'title', 'abstract', 'ab');

INSERT INTO refdoc (refid, title)
VALUES ('2-s2.0-0000098715', 'title'),
VALUES ('2-s2.0-33947184743', 'title');

INSERT IGNORE INTO document (docid, title)
SELECT refid, MAX(title)
FROM refdoc
WHERE refid NOT IN (
SELECT docid FROM document )
GROUP BY refid;

ALTER TABLE document
ADD PRIMARY KEY (docid);

ALTER TABLE document
ADD FOREIGN KEY (docType) REFERENCES doctype(abbrev);

现在的逻辑是：

• 创建文件表
• 创建参考文件表
• 将记录插入文档表
• 将两个记录插入refdoc表中，包括重复记录
• 插入refdoc中与文档不冲突且唯一的行
• 用主键更改文档表
• 用外键更改文档表

这样做还有一个好处，就是直到插入完成后才对文档表建立索引。

对我来说，还不是很清楚为什么我在没有主键的表上遇到主键约束冲突，但这听起来像是要作为错误报告提交给h2 github的东西。