SSIS ETL设计

Question

SSIS ETL设计

我正在尝试建立一个 ETL 工作。 以下是我的主要设计考虑因素

1. 一个主表来跟踪数据拉取和状态

表详细信息

表名 - JobStatus

• 列 - JobId、StartTime、EndTime、状态

表名 - JobDetails

• Job_Detail_id、JobId、TableName、StartTime、EndTime、状态

表名 - 错误日志

• ErrorLogid、ErrorDesc、时间、评论

这个怎么运作

1. 每当作业失败时，作业详细信息表将有助于找出最后一个错误表，ETL 作业可以从该步骤开始

2. SSIS package 将为源数据库和暂存数据库之间的每个表定义数据流任务

3. 它是如何工作的示例

   • 将条目放入作业状态表以启动 package 执行

   • 单个表的每个数据流任务都会在 JobDetails 表中放置一个条目。 加载数据后结束时间和状态将被更新

   • 错误状态更新为错误并记录在错误日志表中

对于这种方法，我需要您的意见/反馈。 与此示例相关的 ETL 设计的任何书签/博文也会有所帮助

Answer 1

我认为您提到的关于从故障点重新启动 package 执行的要求已经存在于 SSIS 中。 您可以使用检查点文件来实现该功能。 内置的 SSIS 日志记录功能可以帮助您跟踪错误消息并帮助解决问题。

单击此处查看我在我的网站上针对您的问题撰写的文章。 我希望这可以让您了解 SSIS 中已经存在的功能以及如何充分利用它。

我认为您可以将宝贵的时间花在微调您的核心业务功能上，而不是重新发明大部分已经存在的流程。 标准功能可能需要根据我们的要求进行一些小的改动，但我认为您不需要从头开始。

希望有帮助。