在 C# 中将 CSV 导出到 SQL - 如何将导出偏移一列

Question

我正在使用 C# 解析 csv 文件并导出到 SQL 服务器数据库表。 数据库表的架构几乎与 csv 文件的架构相同，不同之处在于该表有一个主键标识列作为第一列。

问题：数据库表的第二列，应该接收 csv 文件的第一列，实际上是接收 csv 文件的第二列。 该代码假设数据库表的第一个 PK Identity 列是要从 CSV 文件写入的第一列。 万一这令人困惑，假设 CSV 文件的第 1、2 和 3 列分别具有名为Contoso1 、 Contoso2和Contoso3的标题。 数据库表的 1 到 4 列分别称为Id 、 Contoso1 、 Contoso2和Contoso3 。 在导出过程中， Id列正确地填充了标识 ID，但随后数据库表的Contoso1列填充了 CSV 文件的Contoso2列，并且所有 300 列继续关闭一列。

这是代码。 我正在寻找一种使用此代码进行单列偏移的方法。 如果可能的话，我想避免硬编码映射方案，因为有 300 多列。

using System;
using System.Data.SqlClient;
using System.Data;
using Microsoft.VisualBasic.FileIO;

namespace CSVTest
{
    class Program
    {
        static void Main(string[] args)
        {

            string csv_file_path = @"pathToCsvFile";
            DataTable csvData = GetDataTabletFromCSVFile(csv_file_path);
            Console.WriteLine("Rows count:" + csvData.Rows.Count);
            InsertDataIntoSQLServerUsingSQLBulkCopy(csvData);
        }



        private static DataTable GetDataTabletFromCSVFile(string csv_file_path)
        {
            DataTable csvData = new DataTable();
            try
            {
                using (TextFieldParser csvReader = new TextFieldParser(csv_file_path))
                {
                    csvReader.SetDelimiters(new string[] { "," });
                    csvReader.HasFieldsEnclosedInQuotes = true;
                    string[] colFields = csvReader.ReadFields();
                    foreach (string column in colFields)
                    {
                        DataColumn datecolumn = new DataColumn(column);
                        datecolumn.AllowDBNull = true;
                        csvData.Columns.Add(datecolumn);
                    }
                    while (!csvReader.EndOfData)
                    {
                        string[] fieldData = csvReader.ReadFields();
                        //Making empty value as null
                        for (int i = 0; i < fieldData.Length; i++)
                        {
                            if (fieldData[i] == "")
                            {
                                fieldData[i] = null;
                            }
                        }
                        csvData.Rows.Add(fieldData);
                    }
                }
            }
            catch (Exception ex)
            {
                return null;
            }
            return csvData;
        }


        static void InsertDataIntoSQLServerUsingSQLBulkCopy(DataTable csvFileData)
        {
            using (SqlConnection dbConnection = new SqlConnection("Data Source=localhost;Initial Catalog=Database_Name;Integrated Security=SSPI;"))
            {
                dbConnection.Open();
                using (SqlBulkCopy s = new SqlBulkCopy(dbConnection))
                {
                    s.DestinationTableName = "TableName";
                    //foreach (var column in csvFileData.Columns)
                        //s.ColumnMappings.Add(column.ToString(), column.ToString());
                    s.WriteToServer(csvFileData);
                }
            }
        }
    }
}

Answer 1

我在这里问了一个类似的问题How to import data from.csv 具有不同列标题的文本文件到 memory 。 这是我的代码。

Answer 2

我假设-

一个。 只有一列需要跳过，但可以修改为添加多列跳过

湾。 你知道，提前，要跳过的列的从零开始的索引。

除此之外，这里是您需要进行的 3 项修改。

1. 添加变量以存储要跳过的索引

string csv_file_path = @"pathToCsvFile";
//Assuming just one index for the column number to skip - zero based counting. 
//perhaps read from the AppConfig
int columnIndexToSkip = 0;
DataTable csvData = GetDataTabletFromCSVFile(csv_file_path, columnIndexToSkip);

2. 修改 function 签名，取额外的 int 参数

        private static DataTable GetDataTabletFromCSVFile(string csv_file_path, int columnIndexToSkip)
        {

3. 在该索引处添加虚拟列

                            csvData.Rows.Add(fieldData);
                        }
                    }// end of while (!csvReader.EndOfData) loop

                    if (columnIndexToSkip >= 0)
                    {
                        csvData.Columns.Add("DUMMY").SetOrdinal(columnIndexToSkip);
                    }

我没有测试导入，但更新后的 csv 文件对我来说看起来不错。