比较数据库中或本地两个表之间的文本字符串

Question

编辑：SQL 不适用于此。 我刚刚发现了 Solr/Sphinx，它似乎是解决这个问题的正确工具，所以如果你知道 Solr 或 Sphinx，我很想收到你的来信。

基本上，我有一个带有专利信息的 .tsv 和一个带有产品名称的 .csv。 我需要将专利列的每一行与产品名称进行匹配，并在新的 .csv 列中提取出现的次数。

您可以向下滚动并查看最后的示例。

原问题：

SQL 新手在这里请耐心等待:)。 我不知道如何做到这一点：

我的数据库：

mysql> SHOW TABLES;
+-----------------------+
| Tables_in_prodpatdb   |
+-----------------------+
| assignee              |
| patents               |
| patent_info           |
| products              |
+-----------------------+
mysql> DESCRIBE patents;
+-------------+-------------+------+-----+---------+-------+
| Field       | Type        | Null | Key | Default | Extra |
+-------------+-------------+------+-----+---------+-------+
| ...         |             |      |     |         |       |
| patent_id   | varchar(20) | YES  |     | NULL    |       |
| text        | text        | YES  |     | NULL    |       |
| ...         |             |      |     |         |       |
+-------------+-------------+------+-----+---------+-------+
mysql> DESCRIBE products;
+-------------+-------------+------+-----+---------+-------+
| Field       | Type        | Null | Key | Default | Extra |
+-------------+-------------+------+-----+---------+-------+
| name        | text        | YES  |     | NULL    |       |
+-------------+-------------+------+-----+---------+-------+

我必须使用列name和text ，它们看起来像这样：

name
product1
product2
product3
...
~10M rows

---

text
long text description 1
long text description 2
long text description 3
...
~88M rows

我需要检查patents.text第1 行并将其与products.name列匹配以查找该行中的每个产品名称，然后将这些产品名称存储在一个新表中。 然后检查第 2 行并重复。

如果patents.text行多次具有产品名称，则只需将其复制到新表一次。 如果某行没有产品名称，请跳过它。 输出应该是这样的：

Operation  Product
1          prod5, prod6
2          prod7
...

一个例子：

name
valve
a/c fan
farmed salmon
...

---

  text
  This patent deals with a new approach to air-conditioned fan. With some new valve the a/c fan is 
so much better. The new valve is great.
  This patent has no product names in it.
  This patent talks about farmed salmon.
  ...

---

期望的输出：

Operation   Product
1           valve, a/c fan
2           farmed salmon
...

Answer 1

您可以将GROUP_CONCAT与内部SELECT查询一起使用，例如：

SELECT p.text, 
(SELECT GROUP_CONCAT(name) FROM products WHERE LOCATE(LOWER(name), LOWER(p.text)) > 0) AS 'products' 
FROM patent p;

Answer 2

我认为以合理的性能执行此操作的唯一方法是全文搜索。 我自己很少这样做（现在 20 多年里可能做了 3 次）； 所以我会听从有更多经验的人。

使用https://dev.mysql.com/doc/refman/5.7/en/fulltext-search.html作为起点。

如果已创建全文索引，它可能很简单：

SELECT pat.patent_ID, group_concat(P.Name)  
FROM patents pat 
CROSS JOIN products p 
WHERE MATCH (pat.text)
        AGAINST (p.name IN NATURAL LANGUAGE MODE)
GROUP BY pat.patent_ID;

由于我们必须交叉连接每个产品与每个专利，所以我们现在有 8.8 亿行； 仅此一项就很多了。 然而，我对此进行的阅读越多，我就越意识到我们正在处理 RDBMS 中的非结构化数据。 就其性质而言，这不是理想的搭配； 并且可能有更多优化的方法可以在 RDBMS 之外处理这个问题，或者我们必须花时间在 RDBMS 中构建数据，以便它可以更有效地使用索引（例如将文本拆分成它自己的行索引词）

最后，我们真的需要寻找所有产品吗？ 两种大小所涉及的数据的绝对大小意味着这将需要时间在不能很好地处理非结构化数据的数据库中。

编辑

划伤下面，因为它将无法有效地处理负载。 但为后代保留它。

我认为concat()和group_concat()可以解决问题。

我们加入patent.text 就像生成多行的产品名称。 group_concat 然后将这些行合并为一个记录。 我不确定您的结果中的“操作”来自哪里。

SELECT pat.text, group_concat(P.Name) as Product
FROM patents pat
INNER JOIN text
 on pat.text like concat('%',p.name,'%')
GROUP by pat.text

但是不要指望这会很快； 因为我们在两端使用 % 进行通配符搜索； 所以不能使用索引。