MySQL：存储过程拆分列（带有定界符）并插入新表

Question

我的数据库中有一个未归一化的表，其中包含名称details结构和示例数据，如下所示（对图片表示歉意，只是认为这样做会更容易理解）：

我的挑战是使用分隔assignee, inventor and ipcsubclass拆分列- assignee, inventor and ipcsubclass | 进入新表{ detail_inv和inventors }，{ detail_asg和assignees }和{ detail_ipc和ipcsubclasses }。

在所有三种情况下，表架构都是相似的。 例如，关于发明者表id和name以及在detail_inv表中detail_id和inventor_id 。 每行只能有一个名称，并且发明者表中的所有名称都是唯一的，而ids才能保留detail_inv表中的关系。

我为发明人尝试了以下代码的存储过程-我为3列制作了3个过程:(

drop procedure if exists normalise_details;

delimiter #

create procedure normalise_details()
proc_main:begin

declare v_cursor_done int unsigned default 0;
declare v_post_id int unsigned;
declare v_tags varchar(2048);
declare v_keyword varchar(50);

declare v_keyword_id mediumint unsigned;

declare v_tags_done int unsigned;
declare v_tags_idx int unsigned;

declare v_cursor cursor for select id, inventor from details order by id;
declare continue handler for not found set v_cursor_done = 1;

set autocommit = 0; 

open v_cursor;
repeat

  fetch v_cursor into v_post_id, v_tags;
  set v_tags_done = 0;       
  set v_tags_idx = 1;

  while not v_tags_done do

    set v_keyword = substring(v_tags, v_tags_idx, 
      if(locate('|', v_tags, v_tags_idx) > 0, 
        locate('|', v_tags, v_tags_idx) - v_tags_idx, 
        length(v_tags)));

      if length(v_keyword) > 0 then

        set v_tags_idx = v_tags_idx + length(v_keyword) + 1;

        set v_keyword = trim(v_keyword);
        insert into inventors (name) values (v_keyword);

        select id into v_keyword_id from inventors where name = v_keyword;
        insert into details_inv (inventor_id, detail_id) values (v_keyword_id, v_post_id);

      else
        set v_tags_done = 1;
      end if;

  end while;

until v_cursor_done end repeat;

close v_cursor;

commit;

end proc_main #


delimiter ;

当我在一些随机测试数据上尝试时，它可以正常工作。 当我在实际桌子上这样做时，它不能很好地工作。 仅插入部分数据。 SQL不会引发任何错误（某些时候除外：“＃1172-结果由多个行组成”或“ inventor_id列不能为空”）

我尝试在MySQL上修改代码-通过存储过程将逗号分隔的列表插入规范化表中以满足我的需要，但是我失败了。

请帮助我，我的数据库表变得一团糟，大约有500,000行，这使我很难展开和管理每个项目（最近的项目有200,000行）中的大型数组。

Answer 1

综观RolandoMySQLDBA的帖子这个dba.stackexchange问题，我觉得我就触发存储过程的初始保留证实。 但是，如果您确定在任何给定时间通过用户输入仅更改了几行 ，则应该可以将快速操作过程放在一起。

但是，如果有许多用户并行工作，他们可能仍会相互锁定。 我不知道这是否真的会发生，因为存储过程不会更改明细表中的任何details 。 如有必要，您可以查看此页面中的想法。

编辑： TRIGGER

我刚刚将我以前的文章的SQLfiddle扩展到了带有trigger的SQLfiddle ，其中包含以下内容：

CREATE TRIGGER normdet AFTER INSERT ON detail FOR EACH ROW
BEGIN
  DECLARE n int; DECLARE word VARCHAR(64)

 ;SET n=cntparts(NEW.inventor)
 ;WHILE n>0 DO
   SET word=part(new.inventor,n)
   ;IF NOT EXISTS (SELECT * FROM inv WHERE invname=word) THEN
     INSERT INTO inv (invname) VALUES (word)
   ;END IF
   ;INSERT INTO det2inv (didid,diiid) 
    SELECT NEW.id,invid FROM inv WHERE invname=word
   ;SET n=n-1
 ;END WHILE
  -- and similar loops for assignee and cls ...
;END;

我还定义了另一个功能

CREATE FUNCTION cntparts (var varchar(1024)) RETURNS int
RETURN 1+LENGTH(var)-LENGTH(REPLACE(var,'|',''));

计算给定varchar的单词。 这也可以用于创建循环，而不是在我的第一篇文章中针对基本转换创建固定的UNION构造。

现在，触发器将处理所有新的INSERT 。 仍然需要编写类似的触发器来对UPDATE执行相同的操作。 那应该不难做...

在我的SQLfiddle中，在触发器定义之后在detail插入了另一行。 结果由两个比较SELECT语句列出，请参见fiddle 。

回复最后评论 ：

好吧，正如我在原始答案中所建议的那样，您应该首先导入所有数据（不安装任何触发器！！！！），然后使用SELECT/UNION语句浏览detail表。 在你做，你应该找出每一列的单词的最大数量assignee ， inventor和ipsubclass使用

SELECT MAX(cntparts(inventor)) invcnt,
       MAX(cntparts(assignee)) asscnt,
       MAX(cntparts(ipsubclass)) clscnt 
FROM detail

然后，您可以调整每列所需的SELECT/UNION语句数。 然后按照SQLfiddle所示填充链接表。

也许整个过程需要一段时间，但是您可以安全地处理一个接一个的表（首先是实际的属性表，然后是关联的链接表）。

之后，您可以激活触发器，然后该触发器应仅在单独添加的行上起作用。

Answer 2

首先，在我看来，您应该将表分成四个单独的表：

1. detail （主表，包含： id, projectid, publicationnumber, prioritycountry, prioritydate和status ）
2. inv （发明人表，包含： invid, invname以及可能与发明人相关的更多数据）
3. cls （ipsubclass表，包含： clsid, clsname以及每个类的描述）
4. assignee （包含受让人公司的数据，例如： assid, assname ... ）

由于主表与inv, cls和assignee之间将存在n:m关系，因此您还应该设置链接表，其中包含如下关系

• det2inv
• det2cls
• det2ass

重组任务可以分为几个步骤：

首先，您需要应用用户定义的函数来拆分组合值。 您可以使用此处描述的功能来做到这一点

我进一步简化了它，因为在您的示例中，我们仅面临单个分隔符| ：

CREATE FUNCTION part( x VARCHAR(255), pos INT) 
RETURNS VARCHAR(255) BEGIN
 DECLARE delim char(1)
 ;SET delim='|'
 ;RETURN TRIM(REPLACE(SUBSTRING(SUBSTRING_INDEX(x, delim, pos),
                   LENGTH(SUBSTRING_INDEX(x, delim, pos -1)) + 1),
       delim, ''))
 ;END;

（请注意， TRIM功能可以切掉所有不需要的空白...）

接下来，您应该定义保存您的发明人和可能的ipsubclasses（...和受让人，我尚未完成）的目标表：

CREATE TABLE inv (invid int auto_increment PRIMARY KEY, invname nvarchar(64));
CREATE TABLE cls (clsid int auto_increment PRIMARY KEY, clsname nvarchar(6));

可以根据需要随意扩展带有其他列的表。

现在，我们用唯一值填充表格。 首先在表inv的发明人：

INSERT INTO inv (invname) 
SELECT inv FROM (
 SELECT part(inventor,1) inv from detail
 UNION 
 SELECT part(inventor,2) from detail
 UNION 
 SELECT part(inventor,3) from detail
 UNION 
 SELECT part(inventor,4) from detail
 UNION 
 SELECT part(inventor,5) from detail
 UNION 
 SELECT part(inventor,6) from detail
 UNION 
 SELECT part(inventor,7) from detail
 UNION 
 SELECT part(inventor,8) from detail
) t WHERE inv>'' ORDER BY inv;

接下来的ipsubclasses：

INSERT INTO cls (clsname)
SELECT icls FROM (
 SELECT part(iclass,1) icls from detail
 UNION 
 SELECT part(iclass,2) from detail
 UNION 
 SELECT part(iclass,3) from detail
 UNION 
 SELECT part(iclass,4) from detail
 UNION 
 SELECT part(iclass,5) from detail
 UNION 
 SELECT part(iclass,6) from detail
 UNION 
 SELECT part(iclass,7) from detail
 UNION 
 SELECT part(iclass,8) from detail
) t WHERE icls>'' ORDER BY icls;

在我的示例中，我只查看了每个字段的前8个条目。 当然，可以对其进行修改以适合您的需求。 最后，您将得到两个唯一编号的表，其中包含所有可能的发明人和所有可能的ipsubclass（以及所有受让人的类似方式）。 您可以在这里查看我的SQLfiddle： http ://sqlfiddle.com/#!2/aeafe/1

剩下的任务是，以填补合适的键（对从主表ID的链接表details和它的属性表inv, cls和assignee 。

编辑

链接表中填充以下语句：

INSERT INTO det2inv (didid,diiid)
SELECT id,invid FROM inv 
INNER JOIN detail ON INSTR(inventor,invname)>0;

INSERT INTO det2cls (dcdid,dccid)
SELECT id,clsid FROM cls 
INNER JOIN detail ON INSTR(iclass,clsname)>0;

-- ... and a similar one for det2ass

INSTR()函数无法完美运行，因为像Hagen, Pete这样的名称将与Gleichenhagen, Peter成功匹配。 为了避免这些情况，应按如下所示修改比较：

...
INNER JOIN detail ON INSTR(REPLACE(CONCAT('|',inventor,'|'),' ',''),
                           REPLACE(CONCAT('|',invname,'|'),' ',''))>0;

您可以在此处看到完整的工作示例 ： http : //sqlfiddle.com/#!2/097be/8