在大型数据库 MySQL 中多次搜索最有效的方法是什么

Question

我有 GEO ip 位置数据库，其中每个国家/地区都有与之关联的 IP 范围。

country | ip_start | ip_end

我有一个非常大的 ip 列表（100 万个），我需要通过在 geo_database 中查找来将每个 ip 关联到正确的国家/地区。

我目前使用这个低效的查询（Python btw）：

"SELECT * FROM geoipv4_country WHERE %s BETWEEN start_integer AND end_integer" % myDict[ipnum]"

正如您所看到的，对列表中的每个 ip 执行此操作将花费大量时间，因为对于每个 ip，我都需要查询数据库。

有没有一种有效的方法来做到这一点？

先感谢您

Answer 1

首先，创建一些包含大量IP地址列表的表：

CREATE TABLE ip_list (
    ipnum INTEGER
);
INSERT INTO ip_list (ipnum) VALUES
    (<ip1>), (<ip2>), (<ip3>), (<ip4>), ..., (<ipN>);

然后，您可以使用如下查询来获取列表：

SELECT i.ipnum, c.country
FROM geoipv4_country с,
     ip_list         i
WHERE i.ipnum BETWEEN c.start_integer
                  AND c.end_integer

假设geoipv4_country表中的范围不能重叠。

为了使其高效，请确保至少具有以下索引：

CREATE INDEX c1 ON geoipv4_country(start_integer);
CREATE INDEX c2 ON geoipv4_country(end_integer);

Answer 2

作为我们 GDPR 处理的一部分，我们将 IP 范围数据集转换为每个八位字节（不含第 4 个）的 3 个键值数据集，并且它在多个仓库中通过 SQL 处理超过 10MM 的记录。

基本上，而不是做：

FROM DATA
JOIN IP_RANGE ON DATA.IP_NUM BETWEEN IP_RANGE.IP_NUM_FROM AND IP_RANGE.IP_NUM_TO

我们测试了：

FROM DATA
LEFT JOIN IP_OCTET1 ON DATA.IP_OCTET1 = IP_OCTET1.IP_OCTET1
LEFT JOIN IP_OCTET2 ON DATA.IP_OCTET1 = IP_OCTET2.IP_OCTET1 AND DATA.IP_OCTET2 = IP_OCTET2.IP_OCTET2
LEFT JOIN IP_OCTET3 ON DATA.IP_OCTET1 = IP_OCTET3.IP_OCTET1 AND DATA.IP_OCTET2 = IP_OCTET3.IP_OCTET2 AND DATA.IP_OCTET3 = IP_OCTET3.IP_OCTET3

• 我们发现我们的客户大多询问国家或美国州，我们仅根据这些特定需求设计数据集。

您可以在我们最新的博客中阅读更多相关信息： https : //cloudinary.com/blog/identifying_countries_by_ip_address_in_columnar_databases_through_sql

免责声明：我是文章的作者。