SSIS能否以与TXT文件中完全相同的顺序导入TXT记录？ 如果不是（默认情况下），那怎么样？

Question

我在平面文件中有记录，你可能会认为它们是主记录，其中包含与它们相关的主记录之后的详细记录，直到主记录。

这是一个例子：

Order123, Customer1, 1/1/2018
Item1, $1
Item2, $1
Order124, Customer2, 1/1/2018
Item1, $1
Item4, $2

该文件没有内置行号或任何类型的排序，也没有使用外键将主页与详细信息关联起来。

如果我使用SSIS将原始TXT数据导入到灵活的表中，其中列设计为采用各种数据类型（即nvarchar（255）或类似），我可以在导入后迭代值，并将值关联到Line中订单123的＃2和第3行; 因此，行＃5和＃6与Order124。

保存原始数据的表将使用一个简单的RecordID标识列，其整数递增1。

这并不重要，但如果你很好奇，我所指的实际数据就是Retrosheet数据事件文件。 这是所有美国职业棒球大联盟数据的集合。 可以从此页面上的链接下载真实文件： https ： //www.retrosheet.org/game.htm

我似乎记得你无法将TXT数据导入表中，并期望行的顺序与TXT行的顺序相匹配。 但是，当我对此进行小型测试时，记录的确会以与源文件相同的顺序出现。 我怀疑我的小测试结果太好了，不是真实的，也不是故障安全预测结果如何。

综上所述：

如何使用SSIS导入数据，以与原始平面文件相同的顺序插入SQL记录？

Answer 1

答案是肯定的，只要您没有应用任何类型的排序，就会按顺序处理平面文件。

我能够通过在我的数据库中创建一个具有标识列的表以及一个足以保存文件每一行的varchar列来处理Retrosheet文件（我选择了100）。 然后，我使用Ragged Right格式设置我的平面文件连接，将行分隔符定义为{CR}{LF} 。

Answer 2

我只是键入了这个，所以语法中可能会有一些错误，但它应该让你接近。

您需要设置2个不同的输出。

在向详细信息表中添加外键时，加载顺序无关紧要。

public string orderNo; /// on the OUTSIDE

public main()



string[] lines = System.IO.File.ReadAllLines([filename]);

foreach(var line in lines)
{
   string[] cols = line.Split(',');
   if(cols.Length == 3)
   {
      orderNo = cols[0];
      Output0Buffer.AddRow();
      Output0Buffer.OrderNo = cols[0].ToString();
      Output0Buffer.Customer = cols[1].ToString();
      Output0Buffer.OrderDate = DateTime.Parse(cols[2].ToString().Trim());
   }
   else
   {
      Output1Buffer.AddRow();
      Output1Buffer.OrderNo = orderNo;
      Output1Buffer.Item = cols[0].ToString();
      Output1Buffer.Amt = cols[1].ToString(); //This needs to be parsed later.
   }
}

跟进：

我刚刚查看了您要下载的网站。 而且文件比你提出的问题更复杂。

拆分仍然似乎安全使用，但你必须修剪一些quotewrapped字符串（名称）但看起来没有引用包装逗号（至少在示例中）。 如果是这种情况，则需要使用REGEX进行拆分。

我会改变使用switch和case的逻辑，并将它作为8种类型之一的cols [0]。

在外部保存ID并写入其创建的7个其他可能数据集中的每一个以链接到父级。 您将不得不对需要绑定到不同父级的其他记录使用相同的策略（我认为评论是一个示例）。

祝你好运。 戏剧看起来不容易解释！