如何将定界文件（多个定界符）加载到Oracle中？

Question

我有一个文件，该文件主要是用管道定界的。 但是某些字段在其中进一步划界。 我猜您可以称它们为嵌套定界符吗？ 这就是我文件中的行的外观。

FieldA|FieldB|[FieldC111~FieldC112~FieldC113][FieldC121~FieldC122~FieldC123]|[FieldD111~FieldD112~FieldD113][FieldD121~FieldD122~FieldD123]|FieldE|FieldF
FieldA|FieldB|[FieldC111~FieldC112~FieldC113][FieldC121~FieldC122~FieldC123][FieldC131~FieldC132~FieldC133]|[FieldD111~FieldD112~FieldD113][FieldD121~FieldD122~FieldD123]|FieldE|FieldF
FieldA|FieldB|[FieldC111~FieldC112~FieldC113][FieldC121~FieldC122~FieldC123][FieldC131~FieldC132~FieldC133]|[FieldD111~FieldD112~FieldD113][FieldD121~FieldD122~FieldD123][FieldD131~FieldD132~FieldD133]|FieldE|FieldF
FieldA|FieldB|[FieldC111~FieldC112~FieldC113][FieldC121~FieldC122~FieldC123]|[FieldD111~FieldD112~FieldD113][FieldD121~FieldD122~FieldD123][FieldD131~FieldD132~FieldD133]|FieldE|FieldF

基本上，字段C和字段D封装了其中的X组字段，其中X的范围是1-10。 每组都用方括号[]括起来。 没有 方括号内的字段数量保持不变（以代字号〜分隔）。

我在Oracle中的表应如下所示

FieldA|FieldB|FieldC111|FieldC112|FieldC113|FieldC121|FieldC122|FieldC123|FieldC131|FieldC132|FieldC133|FieldD111|FieldD112|FieldD113|FieldD121|FieldD122|FieldD123|FieldD131|FieldD132|FieldD133|

我在UNIX上不是很强（基本上是每个命令都使用google），但是我想出了以下命令来帮助我定界文件（忽略波浪号问题，直到我解决封装字段的问题，因为我可以使用sql在波浪符号之间读取的功能）

sed 's/\]\[/|/g' final.txt > final1.txt -- replaces all ][ with |
sed 's/\]|\[/|/g' final1.txt > final2.txt -- replaces all ]|[ with |
sed 's/|\[/|/g' final2.txt > final3.txt -- replaces all |[ with |
sed 's/\]|/|/g' final3.txt > final4.txt -- replaces all ]| with |

这给了我完全制表符分隔格式的文件。 但是，当我加载文件时，问题出现了，分隔符的数量变化（随着字段C和D中封装字段的数量变化），因此数据将以先到先得的方式加载。

例如，如果我在字段C中封装了1个字段，在字段D中封装了3个字段，那么我的表将导致字段C中的所有3列和字段D中的所有列包含数据。 我想发生的是，如果字段C中仅封装了1个字段（但为字段C提供了3个字段），则字段C的其他2个字段应为空白，而封装在字段D中的字段应转到其各自的D领域。

我还有其他一些解决方案，例如拆分文件，将其加载到3-4个不同的表中，然后合并所有3个表。 但这将是很多额外的工作。 想知道是否有更简单的方法

我希望我已经解释清楚了。 我说起来很复杂:(

有关我正在处理的数据文件的一些其他信息。

• 任何字段都没有固定的长度。
• 封装字段（用代字号分隔的字段）中的字段数是固定的
• 文件大小约为15 GB。
• 共有120多个字段。

Answer 1

如果文件在数据库服务器上，并且可以将其放到与Oracle directory对象相对应的位置，则可以将初始管道分隔符作为外部表加载，例如：

create table my_external_table (
    A varchar2(10),
    B varchar2(10),
    C varchar2(4000),
    D varchar2(4000),
    E varchar2(10),
    F varchar2(10)
)
organization external (
  type oracle_loader
  default directory my_directory
  access parameters (
    records delimited by newline
    fields terminated by '|'
  )
  location ('my_file.dat')
);

分两步以蛮力方式提取嵌套分隔的数据，然后将其插入到您的真实表中：

insert into my_table (a, b,
  c0101, c0102, c0103, c0201, c0202, c0203, c0301, c0302, c0303,
  d0101, d0102, d0103, d0201, d0202, d0203, d0301, d0302, d0303,
  e, f)
with t as (
  select a, b,
    regexp_replace(regexp_substr(c, '\[.*?\]', 1, 1), '[][]') as c01,
    regexp_replace(regexp_substr(c, '\[.*?\]', 1, 2), '[][]') as c02,
    regexp_replace(regexp_substr(c, '\[.*?\]', 1, 3), '[][]') as c03,
    regexp_replace(regexp_substr(d, '\[.*?\]', 1, 1), '[][]') as d01,
    regexp_replace(regexp_substr(d, '\[.*?\]', 1, 2), '[][]') as d02,
    regexp_replace(regexp_substr(d, '\[.*?\]', 1, 3), '[][]') as d03,
    e, f
  from my_external_table
)
select a, b,
  regexp_substr(c01, '[^~]+', 1, 1) as c0101,
  regexp_substr(c01, '[^~]+', 1, 2) as c0102,
  regexp_substr(c01, '[^~]+', 1, 3) as c0103,
  regexp_substr(c02, '[^~]+', 1, 1) as c0201,
  regexp_substr(c02, '[^~]+', 1, 2) as c0202,
  regexp_substr(c02, '[^~]+', 1, 3) as c0203,
  regexp_substr(c03, '[^~]+', 1, 1) as c0301,
  regexp_substr(c03, '[^~]+', 1, 2) as c0302,
  regexp_substr(c03, '[^~]+', 1, 3) as c0303,
  regexp_substr(d01, '[^~]+', 1, 1) as d0101,
  regexp_substr(d01, '[^~]+', 1, 2) as d0102,
  regexp_substr(d01, '[^~]+', 1, 3) as d0103,
  regexp_substr(d02, '[^~]+', 1, 1) as d0201,
  regexp_substr(d02, '[^~]+', 1, 2) as d0202,
  regexp_substr(d02, '[^~]+', 1, 3) as d0203,
  regexp_substr(d03, '[^~]+', 1, 1) as d0301,
  regexp_substr(d03, '[^~]+', 1, 2) as d0302,
  regexp_substr(d03, '[^~]+', 1, 3) as d0303,
  e, f
from t;

CTE拆分出单独的C字段，然后主选择根据波浪号将每个字段拆分出来。 我只显示了三个C / D级别到相同的空间，但是您必须在CTE和主查询中重复这些行。 这将使其成为一个很长的声明。 如果数字不完全正确，则涉及很多剪切和粘贴操作，并可能引入错误。 但是您可以从Shell脚本（或作为动态SQL）生成语句来避免这两个问题。

这还假设特定行上C / D字段的总长度不会超过4k； 如果可以的话，那会使事情变得更加复杂。

无论如何，对于您显示的数据，最终表将具有（对那些完全不喜欢滚动的用户表示歉意）：

select * from my_table;

A          B          C0101      C0102      C0103      C0201      C0202      C0203      C0301      C0302      C0303      D0101      D0102      D0103      D0201      D0202      D0203      D0301      D0302      D0303      E          F        
---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ----------
FieldA     FieldB     FieldC111  FieldC112  FieldC113  FieldC121  FieldC122  FieldC123                                   FieldD111  FieldD112  FieldD113  FieldD121  FieldD122  FieldD123                                   FieldE     FieldF     
FieldA     FieldB     FieldC111  FieldC112  FieldC113  FieldC121  FieldC122  FieldC123  FieldC131  FieldC132  FieldC133  FieldD111  FieldD112  FieldD113  FieldD121  FieldD122  FieldD123                                   FieldE     FieldF     
FieldA     FieldB     FieldC111  FieldC112  FieldC113  FieldC121  FieldC122  FieldC123  FieldC131  FieldC132  FieldC133  FieldD111  FieldD112  FieldD113  FieldD121  FieldD122  FieldD123  FieldD131  FieldD132  FieldD133  FieldE     FieldF     
FieldA     FieldB     FieldC111  FieldC112  FieldC113  FieldC121  FieldC122  FieldC123                                   FieldD111  FieldD112  FieldD113  FieldD121  FieldD122  FieldD123  FieldD131  FieldD132  FieldD133  FieldE     FieldF     

---

如果您想动态生成插入内容，则可以这样做，它只是重新创建了上面的手动版本-但是需要10组C / D字段：

declare
  stmt varchar2(32767);
begin
  stmt := 'insert into my_table (a, b, ';
  for i in 1..10 loop  -- 10 sets of C/D records
    for j in 1..3 loop  -- 3 tilde-delimited values for each
      stmt := stmt || 'c' || lpad(i, 2, '0') || lpad(j, 2, '0') || ', ';
      stmt := stmt || 'd' || lpad(i, 2, '0') || lpad(j, 2, '0') || ', ';
    end loop;
  end loop;
  stmt := stmt || 'e, f) with t as (select a, b, ';
  for i in 1..10 loop  -- 10 sets of C/D records
    stmt := stmt || 'regexp_replace(regexp_substr(c, ''\[.*?\]'', 1, ' || i
      || '), ''[][]'') as c' || lpad(i, 2, '0') || ', ';
    stmt := stmt || 'regexp_replace(regexp_substr(d, ''\[.*?\]'', 1, ' || i
      || '), ''[][]'') as d' || lpad(i, 2, '0') || ', ';
  end loop;
  stmt := stmt || 'e, f from my_external_table) select a, b, ';
  for i in 1..10 loop  -- 10 sets of C/D records
    for j in 1..3 loop  -- 3 tilde-delimited values for each
      stmt := stmt || 'regexp_substr(c' || lpad(i, 2, '0')
        || ', ''[^~]+'', 1, ' || j || '), ';
      stmt := stmt || 'regexp_substr(d' || lpad(i, 2, '0')
        || ', ''[^~]+'', 1, ' || j || '), ';
    end loop;
  end loop;
  stmt := stmt || 'e, f from t';

  -- uncomment to see/debug the actual statement being executed
  -- dbms_output.put_line(stmt);
  execute immediate stmt;
end;
/

运行该命令将在实际表中创建相同的记录。