Wikidata Virtuoso SPARQL 端点 - 如何获得超过 100,000 个结果

Question

我需要为项目获取 Wikidata 工件（实例类型、重定向和消歧）。

由于原始的 Wikidata 端点在查询方面有时间限制，所以我遇到了Virtuoso Wikidata 端点。

我遇到的问题是，如果我尝试使用此查询获取例如重定向，它最多只返回 100,000 个结果：

PREFIX owl: http://www.w3.org/2002/07/owl#
CONSTRUCT {?resource owl:sameAs ?resource2}
WHERE
{
?resource owl:sameAs ?resource2
}

我写信是想问您是否知道获得超过 100,000 个结果的任何方法。 我希望能够实现最大数量的可能结果。

获得结果后，我必须有 3 个 Ntriples 格式的文件（或尽可能少的文件）： wikidata_intance_types.nt 、 wikidata_redirecions.nt和wikidata_disambiguations.nt 。

非常感谢您提前。

一切顺利，

何塞·曼努埃尔

Answer 1

请注意，在这两种情况下（Wikidata 本身和我的雇主OpenLink Software提供的 Virtuoso 实例），您都在查询共享资源，并且应该有各种限制。

您应该随着时间的推移将查询间隔开，并考虑比您遇到的 100,000 个限制更小的块 - 一次可能 50,000 个，等待每个查询完成检索结果，再加上一秒或十秒，然后再发出下一个查询.

本文中有关使用 DBpedia 公共 SPARQL 端点的大部分指南都与任何公共 SPARQL 端点相关，尤其是那些由 Virtuoso 提供支持的端点。 其他端点上的特定设置会有所不同，但如果您尝试友好——通过限制查询速率； 在使用ORDER BY 、 LIMIT和OFFSET单步执行以获取超出实例最大结果集大小的查询的完整结果集时，限制部分结果集的大小； 等等——你会更成功。

Answer 2

您可以按照https://wiki.bitplan.com/index.php/Get_your_own_copy_of_WikiData中的说明获取并托管您自己的 wikidata 副本

还有其他方法可以获取维基数据的部分转储，例如使用https://github.com/bennofs/wdumper

或者通过我的RWTH Aachen i5 帐户向我发送个人电子邮件，请求访问我们运行的非公开副本之一