如何使用 Logstash 將 Elasticsearch 索引作為 CSV 文件導出到 Google Cloud Storage

[英]How to export Elasticsearch Index as CSV file to Google Cloud Storage Using Logstash

我正在使用 ElasticSearch，在這里我們正在創建日間索引，並且每分鍾都在攝取大量數據。 想將每天創建的索引中的幾個字段導出到 Google 雲存儲。 我能夠通過 output 文件實現這一點，如 json，如下所示： 但是如何將其導出為 CSV 文件並將其發送到 Google Cloud ...

GCS：我們可以在一個桶中有不同的 Storage Class 對象嗎？

[英]GCS: Can we have different Storage Class objects inside a bucket?

我知道 AWS 雲中的類似概念，其中一個存儲桶可以容納多個存儲 class 對象，如標准 object 和 Coldline object。 我嘗試在 GCP 中搜索相同的內容，因為我將擁有的對象需要屬於不同的 Storage Class 對象，因為它們不會被頻繁訪問。 ...

將 GCS object 下載到 GCP 中的 Vertex AI 筆記本

[英]Download GCS object to your Vertex AI notebook in GCP

如果你有一個 gs:// blob，你如何使用 python 客戶端庫將該文件從 GCS 下載到 GCP 中的 Vertex AI notebook？ ...

將outlook中的附件郵件復制到GCS

[英]copying the attachment mails in outlook to GCS

作為自動化程序的一部分，我必須將帶有附件的電子郵件從 Outlook 復制到 GCS（附件格式應為 .csv 文件）。 有人可以建議我如何最好地完成此過程嗎？ 請記住，我是 GCP 的新手，最簡單的解釋將是有益的。 提前致謝。 ...

在 tf.io.GFile() 中指定 GCP 項目

[英]Specify the GCP project in tf.io.GFile()

有沒有辦法指定 GCP 項目使用tf.io.gfile.GFile下載一些對象？ 我知道它可以這樣使用： 但這沒有任何項目參數。 我知道您可以使用 CLI 工具 select 激活項目，但我想從不同的項目下載數據。 是否可能，或者我是否需要使用其他 GCS 客戶端？ 如果是這樣，哪個與 TF 最兼容 ...

Object 生命周期管理-GCP

[英]Object Lifecycle Management - GCP

我想從特定 GCS 文件夾中刪除超過 7 天的文件。 文件名是隨機生成的。 結構如下： 我試圖使用matchesPrefix "matchesPrefix":["folder1/*"]但它不起作用。 在這種情況下，我不確定*是否用作通配符。 ...

修改 GCS bucket 中的 JSON 文件，將字段的數據類型從 String 更改為 Array (GCP)

[英]Modify JSON files in GCS bucket to change the datatype of a field from String to Array (GCP)

我有一個用例，我們將數百萬個 JSON 文件接收到我們的 GCS 存儲桶中。 我正在 GCS 存儲桶之上創建一個外部表。 問題是對於一個特定字段，數據類型不一致。 很少有文件有字符串，其他文件有數組。 我的問題是例子： 我們可以更改 json 以使這些字符串成為數組嗎？ 或任何其他處理此問題的建議 ...

從 Airflow 抓取時捕獲 Scrapy 異常

[英]Catch Scrapy exception when crawling from Airflow

我試圖以一種可以將任務實例標記為失敗的方式捕獲我的蜘蛛上發生的異常。 目前任務完成並標記為成功。 我在 Airflow 中從PythonOperator調用crawl() ，如下所示： 這是我的run_crawler()方法： 運行時，我遇到 GCS 憑據問題，這導致我出現異常，如下所示： 如您所見 ...

將子目錄遞歸復制到 Google Cloud Storage 中的父目錄

[英]Recursively copy a child directory to the parent in Google Cloud Storage

我需要遞歸地將子文件夾的內容移動到谷歌雲存儲中的父文件夾。 此代碼適用於將單個文件從子文件夾移動到父文件夾。 但我不知道如何正確格式化命令，因為如果我的 dest_path 是“parent_dir”，我會收到以下錯誤： 注意：這適用於 gsutils 的遞歸復制，但我更願意使用 blob 對象： ...

如何從 gcs 存儲桶中解壓縮 tsv 文件並將其加載到 Bigquery

[英]How to unzip and load tsv file into Bigquery from gcs bucket

下面是從 gcs 獲取tsv.gz文件並解壓縮文件並將其轉換為逗號分隔的 csv 文件以將 csv 數據加載到 Bigquery 的代碼。 代碼似乎無法有效地將數據加載到 BQ 中，因為出現了很多問題。 以為文件的轉換做錯了。 請把你的想法放在哪里出了問題？ ...

PubSub 發布者攝取

[英]PubSub Publisher Ingestion

我正在嘗試將 avro 文件從 gcs 提取到 pubsub。 有一些外行的問題。 在 PubSub 中將文件作為消息發送有哪些選項？ 比如我們可以將整個文件作為消息發送，還是只能迭代並發送文件的內容？ 如果我們發送整個文件，如何在消費者端重建文件？ 如果可以提供任何示例代碼，這將很有幫助。 我們什 ...

如何從GCS加載fonts（問題已解決）

[英]How to load fonts from GCS(problem solved)

我想從 Google Storage 加載“字體”，我嘗試了兩種方法，但都不起作用。 任何指針？ 感謝您提供的任何建議。 第一的： 我按照此處答案中給出的指令load_font_from_gcs(uri)進行操作，但收到了NameError: name 'load_font_from_gcs' i ...

使用 Dataflow Runner 我想將數據寫入本地文件

[英]Using Dataflow Runner I want to write data to local files

我已經編寫了 python 代碼來從 GCP 數據存儲區讀取數據並寫入 PDF。使用 DirectRunner 我能夠將數據寫入 PDF 文件，但使用 DataflowRunner 我無法做到這一點。 ...

使用 PIL 模塊從 GCS 打開文件

[英]Using PIL module to open file from GCS

我是編程初學者，這是我的第一次小嘗試。 我目前面臨瓶頸，我想尋求幫助。 歡迎任何建議。 先感謝您！ 這是我想要做的： 做一個文本檢測應用程序，提取文本以供進一步使用（例如，到 map 數據中的一些其他相關信息）。 所以，我分為兩個步驟： 1.首先，檢測文本 2.提取文本並使用正則表達式重新排列它以進 ...

Bigquery 中基於 GCS 的本機表創建失敗

[英]Native Table creation on top of GCS failed in Bigquery

我試圖在 GCS 存儲桶之上創建一個大查詢本機表。 當從 UI 創建表時，本機表創建有效，但是當我嘗試運行 DDL 以在 GCS 之上創建本機表時失敗以下是使用的查詢和產生的錯誤： 創建表sample_ds_001.native選項 ( format='csv',uris=["gs://test-b ...

在 QT 5.15 中調整圖像大小

[英]Resizing image in QT 5.15

應用程序中的工具欄視圖目前我需要使工具欄中的圖像更大，以便可以看到文本。 那么，我 go 如何調整圖像大小，以便其中的文本清晰可見。 現在工具欄中的圖像太小了。 謝謝 ...

如何使用過去的數據間隔日期啟動 Airflow Dag

[英]How to start Airflow Dag with a past Data Interval Date

我在 Ariflow 2.2.3 中工作，我不知道如何用過去的執行日期觸發我的 dag。 當我使用 Config 單擊 Trigger dag 時，我將日歷更改為我想要的日期，但是當我單擊運行時，我看到了運行但它沒有運行。 我還嘗試使用 {"start_date":"date"} 將日期放在配置部 ...

Airflow GCSToS3Operator：僅傳輸一個文件名

[英]Airflow GCSToS3Operator: Trasfer just one file with filename

我只想使用 GCS 存儲桶中的文件名將一個文件發送到使用 GCSToS3Operator 的 S3 存儲桶。 我看到delimiter ，但它會發送所有 .csv 文件。 我只想使用文件名發送 1 個文件。 我也看到prefix選項，但它采用前綴存儲桶路徑（存儲桶中的文件夾）。 我有一個沒有文件夾的 ...

Java：如何使用數據流將壓縮字節寫入到 Google 雲存儲中？

[英]Java: How to windowed compressed byte-writes to Google cloud storage with dataflow?

我正在嘗試做一個數據流作業，收集傳入的 bute arrays 並將它們寫入窗口並壓縮到 GCS。 基本上與https://cloud.google.com/pubsub/docs/samples/pubsub-to-gcs相同但是我想寫 byte[] 而不是 class WriteOneFile ...

如何將 delta live table 與谷歌雲存儲一起使用

[英]How to use delta live table with google cloud storage

[來自 databrick 社區的交叉發布：鏈接] 我一直在研究一個 POC，探索具有 GCS 位置的 delta 實時表。 我有些疑惑： 如何訪問 gcs 存儲桶。 我們必須使用數據塊服務帳戶建立連接。 在正常的集群創建中，我們將 go 添加到集群頁面，在Advanced Options下，我們 ...