系统架构 - ETL

Question

我们正在设计一个 ETL 过程，我们将从客户端获取每日帐户文件（可能有 50 万条记录，可能会增长），然后将该文件加载到我们的数据库中。

我们当前的流程将文件拆分为较小的文件并将其加载到暂存区……有时或者如果流程失败，我们会尝试找出我们处理了多少条记录，然后从该点重新开始。 这个问题还有其他更好的选择吗？

我们正在考虑使用 Kafka。 我对卡夫卡很陌生。 如果 kafka 是可行的方法，或者我们只是过度终止了一个简单的 ETL 过程，我们只是将数据加载到临时表并最终加载到目标表，我将非常感谢一些反馈。

Answer 1

Apache Kafka® 是一个分布式流媒体平台。 这到底是什么意思呢？

流媒体平台具有三个关键功能：

发布和订阅记录流，类似于消息队列或企业消息传递系统。

以容错持久的方式存储记录流。

在记录流发生时对其进行处理。

Kafka 通常用于两大类应用程序：

构建实时流数据管道，在系统或应用程序之间可靠地获取数据

构建实时流应用程序来转换或响应数据流

https://kafka.apache.org/intro

如果您遇到错误使您检查最后提交的记录到临时数据库并需要系统自动管理这些内容，Kafka 可以帮助您简化流程。
尽管 Kafka 是为处理大量数据负载并分布在集群中而构建的，但您当然可以将它用于较小的问题并利用它的排队功能和偏移管理，即使只有一个代理（服务器）和少量分区（并行级别） .
如果您根本不期望任何规模，我建议您考虑 RabbitMQ。

RabbitMQ 是一种消息队列软件，也称为消息代理或队列管理器。 简单地说； 它是定义队列的软件，应用程序连接到队列以传输一条或多条消息。

https://www.cloudamqp.com/blog/2015-05-18-part1-rabbitmq-for-beginners-what-is-rabbitmq.html

“如何知道 Apache Kafka 是否适合你”作者：Amit Rathi
https://link.medium.com/enGzNaNvT4

如果您选择了 Kafka：
当您收到一个文件时，创建一个进程，该进程遍历它的所有行并将它们发送到 Kafka（Kafka Producer）。
创建另一个进程，该进程不断从 kafka（Kafka 消费者）接收事件，并将它们以小批量的形式写入数据库（类似于您的小文件）。

设置卡夫卡：
https://dzone.com/articles/kafka-setup
Kafka 消费者/生产者简单示例：
http://www.stackframelayout.com/programowanie/kafka-simple-producer-consumer-example/

Answer 2

不要以为导入数据就像将其转储到数据库中并让计算机处理所有处理工作一样简单。 正如您所发现的，自动加载可能会出现问题。

首先，数据库 ELT 进程会贬低硬盘驱动器。 在将数据插入其本机表之前，不要将数据暂存到一个表中。 您的进程应该只将数据一次导入到其本机表中以保护硬件。

其次，您不需要第三方软件来中间人工作。 您需要控制，这样您就不必手动检查插入的内容。 这意味着您的过程是在导入之前首先清理/转换数据。 您希望在加载之前通过清理和结构化甚至处理数据来防止所有问题。 负载应该只是一个 SQL 插入脚本。 我已经分解了许多 T-SQL 脚本，其中有人认为将处理与数据库命令集成起来很方便。 不要这样做。

以下是我管理从电子表格报告导入的方法。 Excel 公式比学习 SSIS 之类的 ETL 工具要好。 我使用单元格公式来验证记录是否有效进入我们的系统。 此结果是它自己的列，然后如果该列为真，则串联列显示插入脚本。

    =if(J1, concatenate("('", A1, "', ", B1, "),"), "")

如果该列为假，则 concat 列不显示任何内容。 这允许我将插入内容复制/粘贴到 SSMS 中，并通过“插入表值”脚本进行批量插入。

如果这实际上是更新现有记录，正如您的评论所暗示的那样，那么您需要掌握数据，为您的用户组织日志中的更改内容。

同步步骤：

1. 在更新之前记录有什么

2. 下载并比较本地与远程副本的差异； 如果没有 a) 将它们放在同一物理位置或 b) 控制另一个系统，您就无法比较两者

3. 记录您正在更新的内容以及更新时的时间戳

4. 保存并关闭日志

5. 只有当 1-4 完成后，你才应该发布更新到生产

我的同步数据源和处理创建/更新/删除指南：将本地文件与服务器文件同步