ETL数据流任务 - 保持计算

Question

让我帮助您了解数据流任务的主要逻辑。 我正在使用ETL将数据加载到数据仓库（staging和dwh部分）。 现在我有一个任务来计算现有字段的数据，但必须按库存数据计算......

我需要正确的数量为remaining_qty，Assigned_qty和in_progress_qty。 （如图）。 但目前我没有看到这个结果。 得到它会很棒。 在查找到库存数据列表后，我完成了计算过程。

然后检查实际临时数据和其他查找。 当它不存在于temp by item时，则插入记录，否则只是一个简单的更新..用这个方法我会做计算过程..我想在下一个记录系统应该重新查询临时表并查询实际数据..我的意思是减少数量。 按记录记录。 但现在它照顾这两个查找我得到了每一行相同的结果。 这对我来说意味着临时表不会在数据流内部重新查询。 我可以使用其他数据流进行计算吗？ 或者我可以使用此数据流中的临时表，它可能由记录更新？ 因为我会按记录重新查询实际库存数量。
..谢谢阅读！

Answer 1

我很困惑，但从我的理解你想要使用查找转换重新查询，这是正确的吗？ 如果是这样，在查找转换编辑器的“常规”选项卡中，默认情况下， 缓存模式选项标记为“完全缓存”。

1. 完全缓存意味着在执行数据流任务内部之前，数据库将被查询一次并保存在内存中。 因此，当您尝试在数据流任务中使用查找转换时，它将仅使用保存在内存中的数据。
2. 第二个选项是Partial Cache ，在进行转换之前查询一些数据，如果在那里找不到它，则再次查询数据库以找到它。
3. 最后，还有No Cache Mode，您可以在每次处理行时查询数据库

您可以在此链接中找到更多详细信息。

希望能帮助到你

Answer 2

点击这里查看图片！ 大家好，我找到了一个解决方案，并对ETL过程进行了更改。我已经分离了数据流任务，并使用存储过程重新计算临时表上的数据。 然后，下一个数据流能够从temp查询更新的数据，并用正确的数量和价格填充事实表。 那时我已经学习了控制流程和数据流程。 现在我很清楚，应用程序运行正常。 感谢您的支持！