简单的ETL：Smooks或ETL产品

Question

我对这个话题还很陌生，正在做一些研究。 我有一个ESB（使用WSO2 ESB），并且想要从传递的消息中提取主数据（例如，Customers，Orders等），并将它们存储在DB中作为参考数据。 源数据以XML格式来自Web服务。 因此，需要有一个能够维护主数据的组件：插入新对象，删除旧对象和更改更新（也很高兴发生数据事件，以便ESB可以相应地路由数据）。任何实体类型，最好为所有新实体类型自动生成它。

我现在看到的选项：

1. 将Smooks与SQLExecutor或Hibernate结合使用以实现持久性，并将所有匹配逻辑写入smooks配置或DAO批注中
2. 使用一些开源的ETL工具（例如Talend，Kettle，Clover等）。 因此，数据将被传递到ETL，并且在那里定义了所有转换逻辑。 当它们出现时也可以容纳将来的场景，或者可能会造成太大的伤害。

。

如果您分享您的想法并指出正确的方向，将不胜感激。

Answer 1

您最好将数据库部分留给其他工具。

如果消息流中有大量的数据库交互，则可能会导致性能严重下降。

但是，您不需要为所说明的用例提供ETL。 您只需使用WSO2 DSS即可创建服务，以在数据库中插入或更新数据，从而轻松完成此操作。

我们一直将此用于ESB旁边的消息记录目的（在DB内部），对此感到满意。 最好将它用作ESB内消息流中的非阻塞即弃型Web服务。 希望这可以帮助。