如何提高 informatica 中平面文件的性能

Question

假設我的源系統是一個平面文件並且它有超過 50M 的記錄。它需要 2 小時的時間來運行。 如何減少運行時間。 您可以在源代碼級別實現哪些性能調優技術

Answer 1

讓我根據上面的答案嘗試。 首先檢查會話日志以檢查瓶頸在哪里。 接近日志末尾時，您將獲得以下三個參數的統計信息。
哪一部分 - 源讀取、表達式處理、目標加載需要時間。

1. 如果源代碼讀取需要時間 - 由於這是一個平面文件，我們不能做很多改進。 一世。 我們可以對源提取進行分區，使其讀取速度更快。 ii. 避免在分隔平面文件的格式屬性中添加引號或轉義字符。 三、 如果它是一個簡單的文本文件，它的速度很快，但如果它是復雜的文件，如 xml、vsam - 根據源的結構可能需要時間。 四、 預處理文件並刪除不需要的數據。 四、 數據集成服務每行讀取的字節數。 配置 Line Sequential Buffer Length 屬性。
2. 如果表達需要時間 - i. 這會很棘手，但由於映射很簡單，所以嘗試減少計算等。 增加內存中的 DTM 緩沖區大小。 三、 如果會話設置為使用高精度，則刪除屬性。
3. 如果目標加載需要時間 - i. 如果目標是平面文件，數據量可能是一個問題，使用第 1 點的改進就可以了。 ii. 取消鏈接不需要的列。 三、 如果目標是表，檢查表是否有索引，如果有，刪除它們並在加載后重新創建。 四、 如果表被更新，檢查關鍵列是否在數據庫中有索引。