簡體   English   中英

跨區域移動 - 將 Big Query 和 GCS 數據從美國傳輸到歐盟位置

[英]Cross-region movement - Transferring Big Query and GCS data from US to EU locations

出於合規性要求,我們希望將我們所有的 Bigquery 數據和 GCS 數據從美國地區移動到歐盟地區。 據我了解,多區域要么在美國境內,要么在歐盟境內。 沒有這樣的跨區域選項。

問題 1:為了將數據從美國轉移到歐盟或從美國轉移到歐盟,我們的理解是我們需要使用存儲傳輸服務明確轉移數據。 並假設與此移動相關的成本,即使它在谷歌雲中?

問題 2:我們還考慮是否可以在兩個位置都保留副本。 這種情況下,有跨地域復制的規定嗎? 如果是這樣,那么相關的成本是多少?

問題一:

您正在將數據從世界的一個地方移動到另一個地方。 所以,是的,您將支付源位置的出口成本。

遺憾的是,今天(2023 年 11 月 28 日),我不能 100% 承擔這筆費用。 事實上,我就一個非常相似的問題聯系了谷歌雲,我的谷歌雲聯系人告訴我成本頁面已經過時了。 應適用 Cloud Storage 出口成本(而不是文檔中今天的 Compute Engine 網絡出口成本)。


問題2:

您復制數據,因此,最后,您在 2 個數據集中復制了數據量,並且您的存儲成本也重復了。

每次您想要同步數據時,您都執行一個副本。 它只是一個副本,而不是智能增量更新。 因此,如果您直接更新目標數據集中的數據,請小心:新副本將覆蓋數據!

相反,使用目標數據集作為查詢的基礎,並(再次)復制獨立數據集中的數據,您可以在其中添加您所在地區的特定數據

根據文檔,一旦創建了數據集,就不能更改位置,但您可以將數據集復制到不同的位置,或者手動將數據集移動(重新創建)到不同的位置。

更簡單的方法是復制,您可以在此處了解有關要求、配額和限制的更多信息: https://cloud.google.com/bigquery/docs/copying-datasets

所以:

  1. 不需要傳輸服務,您可以將數據集復制到不同的位置。
  2. 沒有跨區域自動復制的機制。 即使是災難恢復策略也需要跨區域數據集副本。

BigQuery 不會自動在其他地理區域提供數據的備份或副本。 您可以創建跨區域數據集副本以增強您的災難恢復策略。

https://cloud.google.com/bigquery/docs/availability#:%7E:text=cross%2Dregion%20dataset%20copies

因此,在這兩種情況下,您都需要使用數據集副本並在第二種情況下處理數據新鮮度。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM