Redshift 刪除顯式鎖會導致丟失行/重復行。 最佳分辨率？

Question

我有一個用例，多個數據科學家同時使用我們的一些紅移表進行調優。 如果他們同時調整並同時導入數據，我們最終會丟失行和重復行。

不久前，他們從表中刪除了顯式鎖以減少掛在這些鎖上的負載量。

我假設刪除顯式鎖會導致行重復和丟失。

就前進的道路而言，我正在考慮使用 kinesis，redis，或類似於將這些批處理為一個導入而不是插入的東西（無論如何不適合紅移）。 或者，如果真正的解決方案是向表添加顯式鎖定並處理懸掛負載。

任何指導將不勝感激。 謝謝

將顯式鎖重新投入工作，但其他過程掛在表/過程鎖后面並顯着減慢速度。

Answer 1

是的，移除鎖是造成這種情況的原因，他們不應該這樣做。 告訴他們停下來。

他們很可能會遇到這種情況，因為他們沒有提交他們的更改。 將它們的連接更改為 AUTOCOMMIT 可能會解決問題。 如果一個人更改了一張表但沒有提交更改，那么他們將擁有一個本地副本和一個鎖，直到他們這樣做。 如果他們從不斷開連接，那么這種情況將永遠持續下去。 如果很多人都這樣做，那么你就會有一堆本地副本和鎖等待解決，但沒有人提交。

當人們來自寫鎖定數據庫時，他們可能會對正在發生的事情感到困惑。 閱讀 MVCC 數據庫一致性。