将多个用分号分隔的文件批量插入SQL Server

Question

我有400个带有分号作为分隔符的csv文件。

示例：列标题（全部在Excel中的一个字段中）：

CUST_NAME;Transdate;Transnum;UNIT_PRICE;QTY;STYLE_NUMBER;country

Excel文件中的样本数据（全部集中在一栏中）：

Bar Clayn;2012-01-01 00:00:00.0;45724;-109.98;-1;803702;CA
EAL AN;2012-01-01 00:00:00.0;48772;-69.98;-1;837642;CA

我已引用此文章将多个csv文件导入SQL：

堆栈流

由于它是用分号分隔的文件，因此我创建了用于批量插入的格式文件。

该文件如下所示：

    10.0 
    7
    1   SQLCHAR     2   500 ";" 1   CUST_NAME     Latin1_General_CI_AS
    2   SQLDATETIME 1   8   ";" 11  Transdate     ""
    3   SQLCHAR     2   500 ";" 12  Transnum      Latin1_General_CI_AS
    4   SQLDECIMAL  1   19  ";" 19  UNIT_PRICE    ""
    5   SQLINT      1   4   ";" 20  QTY           ""
    6   SQLBIGINT   1   8   ";" 22  STYLE_NUMBER  ""
    7   SQLCHAR     2   500 ";" 28  country       Latin1_General_CI_AS

可以遍历一个文件夹中所有文件的代码，但是我认为我的fmt文件有问题，因为它给了我以下错误：

消息4866，第16级，州7，第1行
批量加载失败。 数据文件中该列对于第1行第1列过长。
验证是否正确指定了字段终止符和行终止符。

代码是：

CREATE TABLE ALLFILENAMES(WHICHPATH VARCHAR(255),WHICHFILE varchar(255))

--some variables
declare @filename varchar(255),
        @path     varchar(255),
        @sql      varchar(8000),
        @cmd      varchar(1000)

--get the list of files to process:
SET @path = 'C:\Sales\2012\' 
SET @cmd = 'dir ' + @path + '/b/a-d'
INSERT INTO  ALLFILENAMES(WHICHFILE)
EXEC Master..xp_cmdShell @cmd
UPDATE ALLFILENAMES SET WHICHPATH = @path where WHICHPATH is null

--cursor loop
declare c1 cursor for SELECT WHICHPATH,WHICHFILE FROM ALLFILENAMES where WHICHFILE is not null
open c1
fetch next from c1 into @path,@filename
While @@fetch_status <> -1
  begin
  --bulk insert won't take a variable name, so make a sql and execute it instead:
   set @sql = 'BULK INSERT Sales2012 FROM ''' + @path + @filename + ''' '
       + '     WITH ( 
                    FORMATFILE =''C:\Sales2012.fmt''      
                    )'

print @sql
exec (@sql)

  fetch next from c1 into @path,@filename
  end
close c1
deallocate c1

它与SQL Server导入向导完美配合：

Test Qualifier: "
Header row Delimiter: {CR}{LF}

我可以使用导入向导来执行此操作，但是考虑到400多个csv文件，加载这些文件需要花费我几天的时间。 我做错什么了吗？

任何帮助表示赞赏。

Answer 1

这很可能是在未正确解析的数据中的某处具有逗号字符的情况。

尝试在记事本中打开CSV文件，看看其内部结构如何，以及用什么字符转义逗号和引用字符。

您可以做的另一件事是修改光标以打印INSERT语句VS进行实际的插入。 这样，您就可以跟踪引起问题的行并进行修复。