堆棧內存溢出
cost 247 ms
如何使用 Logstash 將 Elasticsearch 索引作為 CSV 文件導出到 Google Cloud Storage

[英]How to export Elasticsearch Index as CSV file to Google Cloud Storage Using Logstash

我正在使用 ElasticSearch，在這里我們正在創建日間索引，並且每分鍾都在攝取大量數據。 想將每天創建的索引中的幾個字段導出到 Google 雲存儲。 我能夠通過 output 文件實現這一點，如 json，如下所示： 但是如何將其導出為 CSV 文件並將其發送到 Google Cloud ...

你將如何使用 gcp 和 Go 設計視頻上傳系統？

[英]How would you design a video upload system using gcp and Go?

我想構建一個小型故事系統，用戶可以在其中上傳視頻。 我正在使用 Firebase，前端將在 flutter。 我在設計從前端到我的 Go 后端的流程時遇到了一些困難。 實現這一目標的最簡單方法是什么？ 據我了解，我可以使用不同的流程： 前台請求上傳簽名 url 到 Go 后端后端生成一個 gcp ...

如何使用 Python 腳本讀取和更新谷歌雲中 JSON 文件中的字段

[英]How to read and update a field in JSON file that's in Google cloud using Python script

如何使用 Python 腳本讀取和更新谷歌雲中 JSON 文件中的字段。 我試過使用 其中 filepath 是 gs 路徑位置 但是我得到了FileNotFoundError 。 有沒有其他方法可以使用 Python 讀取和更新 JSON 中位於谷歌雲中的字段？ ...

如何將文件從 GCE VM 上的 R Studio 服務器保存到 Google Cloud Bucket？ 可能的設置問題

[英]How to save files from R Studio-server on GCE VM to a Google Cloud Bucket? Possible settings issue

我在 GCE 上有一個安裝了 R Studio-server 的虛擬機。 我在我的 VM 中安裝了一個存儲桶形式的谷歌雲，這樣我就可以訪問和加載我在 R 中的數據。我的目標是能夠將 output 保存回這個存儲桶中。 我該怎么做？ 當我嘗試使用 R function saveRDS()保存數據時，我 ...

為什么我的 Google Cloud Load Balancer 指向一個桶，只托管 index.html 文件？

[英]Why is my Google Cloud Load Balancer, pointed at a bucket, only hosting the index.html file?

我的 LB 中有以下內容 然后我映射了桶 桶看起來像這樣...... 當我運行curl https://me.com -v 我在 index.html 中得到了 HTML 文件，這是我所期望的，但是當我調用https://me.com/assets/index-2898da6d.js時，這也會 ...

Cloud Functions：當文件上傳到 GCS Bucket 時如何將數據插入 BigQuery？

[英]Cloud Functions: How to Insert Data into BigQuery when a file is Uploaded into a GCS Bucket?

我是 GCP Cloud Functions 的新手，我正在嘗試將 function 添加到我現有的代碼中，這將在將特定文件上傳到我的 GCS Bucket 時將數據插入 BigQuery。 我不確定如何編寫一個 function 來完成這個任務——比如，我是否需要編寫一個 function 來首 ...

gsutil - cp 的存儲 class 選項是什么？

[英]gsutil - what are the storage class options for cp?

我正在使用gsutil CLI 將文件復制到 Google Cloud 的存儲桶。 但是我沒有找到指定存儲class的選項有哪些？ 我閱讀了文檔，但那里沒有寫選項。 它只是為了使用-s <class>而編寫的，但是<class> class> 的選項是什么？ ...

在雲中使用 firebase-admin 將 Base64 編碼的 PDF 字符串保存到 firebase 存儲 function

[英]Saving a Base64-encoded PDF string to firebase storage using firebase-admin in a cloud function

我有一個以 base-64 字符串編碼的 PDF 文件的內容，我想使用 Firebase Admin SDK 在 TypeScript 雲 function 中將其保存到 Firebase 存儲。這就是我正在嘗試的 但是我一直收到錯誤消息，指出文件 object 不存在。 我知道它不存在，因為我正 ...

在普通 PySpark 安裝中，方案“gs”Google Storage Connector 沒有文件系統

[英]No FileSystem for scheme "gs" Google Storage Connector in plain PySpark installation

我已經看過幾個類似的問題 - here ， here和其他一些博客文章和 Stack overflow 問題。 我有以下 PySpark 腳本並希望從 GCS 存儲桶中讀取數據 失敗並出現錯誤 - 我的環境設置Dockerfile如下所示： 沒有 HADOOP_HOME、SPARK_HOME、PYS ...

如何在Java中不暴露URL中的服務賬號的情況下生成預簽名的GCS URL？

[英]How to generate a GCS pre-signed URL without exposing the service account in the URL in Java?

我們不想讓我們的用戶暴露於內部信息，例如用於簽署 URL 的服務帳戶名稱。文檔提示可以使用簡單的服務帳戶 ID（ https://cloud.google.com/storage/docs/ access-control/signed-urls#considerations ）但是我在實現簽名時找 ...

從 GCP 存儲桶中讀取音頻/mp3 文件拋出被 CORS 策略阻止：不存在“Access-Control-Allow-Origin”header

[英]Reading audio/mp3 file from GCP bucket throws blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present

我正在嘗試使用 js 和 flask 創建音頻播放器。音頻文件是從 GCP 存儲桶中檢索的，並且音頻文件具有公共訪問權限。 但是當我嘗試播放它拋出的音頻時， 我的 HTML 代碼如下所示：<audio class="js-audio-source" src="https://storage. ...

驗證 CSV 文件並將其從 GCS 傳輸到 Python 中的遠程網絡驅動器

[英]Authenticating and transferring CSV files from GCS to a remote network drive in Python

我想使用容器化的 Python 應用程序連接到物理文件服務器上的 AD managed.network 驅動器並進行身份驗證，然后將一些 csv 文件從 Google Cloud 存儲桶傳輸到它，我想知道最好的選擇是什么做這個？ 到目前為止，我已經確定我可以看到服務器使用： try: ...

GCS：我們可以在一個桶中有不同的 Storage Class 對象嗎？

[英]GCS: Can we have different Storage Class objects inside a bucket?

我知道 AWS 雲中的類似概念，其中一個存儲桶可以容納多個存儲 class 對象，如標准 object 和 Coldline object。 我嘗試在 GCP 中搜索相同的內容，因為我將擁有的對象需要屬於不同的 Storage Class 對象，因為它們不會被頻繁訪問。 ...

ENOENT no such file or directory error in cloud function 上傳圖片

[英]ENOENT no such file or directory error in cloud function upload image

我是雲功能的新手，正在創建一個 function（除其他外）將圖像從 Flutter image_picker 上傳到雲存儲。 下面是相關的cloud fn代碼： 我收到此錯誤： uploadProductPic 中的函數錯誤：[firebase_functions/internal] 項目：未定 ...

AttributeError：模塊“google.cloud.bigquery._helpers”沒有屬性“PYARROW_VERSIONS”

[英]AttributeError: module 'google.cloud.bigquery._helpers' has no attribute 'PYARROW_VERSIONS'

在 GCP jupyterlab 中運行以下導入命令時出現錯誤： 代碼： 錯誤： AttributeError Traceback (最近調用 last) /tmp/ipykernel_5450/3407211047.py in 1 from google.cloud import storag ...

通過雲端存儲中上傳的文件觸發 Cloud Run 作業

[英]Trigger Cloud Run job by uploaded file in a Cloud Storage

由於事件驅動的 Cloud Functions 的執行時間限制為 10 分鍾，因此我實施了一個更適合我需求的 Cloud Run Job。 我可以手動運行 Cloud Run 作業，一切正常。 現在，我想通過 Cloud storage 事件觸發 Cloud Run 作業執行（類似於 Cloud F ...

如何將新添加的 avro 數據從 GCS 自動傳輸到 BigQuery

[英]How to automatically transfer newly added avro data from GCS to BigQuery

我想安排 Cloud Storage 與 BigQuery 之間的數據傳輸作業。 我有一個應用程序將數據連續轉儲到 GCS 存儲桶路徑（比方說gs://test-bucket/data1/*.avro ），我想在 GCS 中創建 object 后立即移動到 BigQuery。 我不想一次又一次地遷 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM