將 PointOnPointOverlayer (POPO) 與 600,000 多條記錄一起使用，而無需“創建空間索引”寫入日志文件 7 個多小時

Question

使用 PointOnPointOverlayer (POPO) 時，在 FME 2018 之后，我遇到了性能問題。 使用 FME 2018.1.2.0 (20190225 - Build 18590 - WIN64)，我可以使用具有 600,000 條記錄的 POPO，這部分作業的運行時間超過 30 分鍾。

現在使用 FME 2020.2.1.0 (20201130 - Build 20806 - WIN64) 需要 7 個多小時。

我還使用 FME 2021.1.3 (Build 21631 - win64) 進行了簡短的測試，但沒有看到顯着的改進。

有哪些選項可以消除這額外的 6.5 小時處理時間？

Highlights from the logfile:
2021-10-21 14:11:59|  0.4| 0.4|INFORM|FME 2020.2.1.0 (20201130 - Build 20806 - WIN64)
2021-10-21 14:11:59|  0.4| 0.0|INFORM|FME_HOME is 'C:\Program Files\FME2020\'
2021-10-21 14:11:59|  0.4| 0.0|INFORM|FME Desktop ESRI Edition (floating)
.
.
.
2021-10-21 14:12:50| 50.4| 0.0|INFORM|Creating spatial index of 2 point features
2021-10-21 14:12:50| 50.4| 0.0|INFORM|Completed spatial index creation
2021-10-21 14:12:50| 50.4| 0.0|INFORM|Creating spatial index of 1 point features
2021-10-21 14:12:50| 50.4| 0.0|INFORM|Completed spatial index creation
.
.
.
2021-10-21 21:25:57|4641.4| 0.0|INFORM|Creating spatial index of 1 point features
2021-10-21 21:25:57|4641.4| 0.0|INFORM|Completed spatial index creation
2021-10-21 21:25:57|4641.4| 0.0|INFORM|Creating spatial index of 1 point features
2021-10-21 21:25:57|4641.4| 0.0|INFORM|Completed spatial index creation
2021-10-21 21:25:57|4641.4| 0.0|INFORM|PointOnPointOverlayer_10 (OverlayFactory): Group 626779 / 626779: Finished processing group 626779 / 626779
2021-10-21 21:25:57|4641.4| 0.0|INFORM|PointOnPointOverlayer_10 (OverlayFactory): Group 626779 / 626779: 100% complete

用了 7 個多小時完成了 626,000 多條記錄的 PoPo

Answer 1

您是否在 POPO 中使用“按組處理”？ 從日志看起來每個點都被視為自己的組？

如果在這部分過程之后禁用所有內容，它仍然很慢嗎？ 在某些情況下，性能問題可能會更進一步，但似乎處於不同的位置。

另外要注意的是，您可以在日志中看到“4641.4”的秒數。 這表明 FME 處理時間（fme 一直在積極使用 CPU 的時間）僅為 77 分鍾。 剩下的時間可能是別的東西——如果涉及數據庫或網絡，這些都是常見的罪魁禍首。

要查看時間的去向，您需要查看時間戳。 以最少的 CPU 時間尋找時間戳中的大跳躍。

日志文件的末尾應提供作業時間與 CPU 時間的摘要。 如果 cpu 和總時間不同，則表示 fme 在此過程中的某個時刻正在等待。