标签[google-cloud-storage] - 堆栈内存溢出

如何使用 Logstash 将 Elasticsearch 索引作为 CSV 文件导出到 Google Cloud Storage - How to export Elasticsearch Index as CSV file to Google Cloud Storage Using Logstash

我正在使用 ElasticSearch，在这里我们正在创建日间索引，并且每分钟都在摄取大量数据。想将每天创建的索引中的几个字段导出到 Google 云存储。我能够通过 output 文件实现这一点，如 json，如下所示：但是如何将其导出为 CSV 文件并将其发送到 Google Cloud ...

你将如何使用 gcp 和 Go 设计视频上传系统？ - How would you design a video upload system using gcp and Go?

我想构建一个小型故事系统，用户可以在其中上传视频。我正在使用 Firebase，前端将在 flutter。我在设计从前端到我的 Go 后端的流程时遇到了一些困难。实现这一目标的最简单方法是什么？据我了解，我可以使用不同的流程：前台请求上传签名 url 到 Go 后端后端生成一个 gcp ...

如何使用 Python 脚本读取和更新谷歌云中 JSON 文件中的字段 - How to read and update a field in JSON file that's in Google cloud using Python script

如何使用 Python 脚本读取和更新谷歌云中 JSON 文件中的字段。我试过使用其中 filepath 是 gs 路径位置但是我得到了FileNotFoundError 。有没有其他方法可以使用 Python 读取和更新 JSON 中位于谷歌云中的字段？ ...

如何将文件从 GCE VM 上的 R Studio 服务器保存到 Google Cloud Bucket？可能的设置问题 - How to save files from R Studio-server on GCE VM to a Google Cloud Bucket? Possible settings issue

我在 GCE 上有一个安装了 R Studio-server 的虚拟机。我在我的 VM 中安装了一个存储桶形式的谷歌云，这样我就可以访问和加载我在 R 中的数据。我的目标是能够将 output 保存回这个存储桶中。我该怎么做？当我尝试使用 R function saveRDS()保存数据时，我 ...

为什么我的 Google Cloud Load Balancer 指向一个桶，只托管 index.html 文件？ - Why is my Google Cloud Load Balancer, pointed at a bucket, only hosting the index.html file?

我的 LB 中有以下内容然后我映射了桶桶看起来像这样...... 当我运行curl https://me.com -v 我在 index.html 中得到了 HTML 文件，这是我所期望的，但是当我调用https://me.com/assets/index-2898da6d.js时，这也会 ...

Cloud Functions：当文件上传到 GCS Bucket 时如何将数据插入 BigQuery？ - Cloud Functions: How to Insert Data into BigQuery when a file is Uploaded into a GCS Bucket?

我是 GCP Cloud Functions 的新手，我正在尝试将 function 添加到我现有的代码中，这将在将特定文件上传到我的 GCS Bucket 时将数据插入 BigQuery。我不确定如何编写一个 function 来完成这个任务——比如，我是否需要编写一个 function 来首 ...

在谷歌云中使用 AWS Rekognition function - Using AWS Rekognition in a google cloud function

我是 AWS 的新手，想知道是否可以在从 Google Cloud Storage 提取图像的 Google Cloud Function 中使用 AWS Rekognition？如果是这样，使它起作用的关键步骤是什么？谢谢 ...

gsutil - cp 的存储 class 选项是什么？ - gsutil - what are the storage class options for cp?

我正在使用gsutil CLI 将文件复制到 Google Cloud 的存储桶。但是我没有找到指定存储class的选项有哪些？我阅读了文档，但那里没有写选项。它只是为了使用-s <class>而编写的，但是<class> class> 的选项是什么？ ...

在云中使用 firebase-admin 将 Base64 编码的 PDF 字符串保存到 firebase 存储 function - Saving a Base64-encoded PDF string to firebase storage using firebase-admin in a cloud function

我有一个以 base-64 字符串编码的 PDF 文件的内容，我想使用 Firebase Admin SDK 在 TypeScript 云 function 中将其保存到 Firebase 存储。这就是我正在尝试的但是我一直收到错误消息，指出文件 object 不存在。我知道它不存在，因为我正 ...

在普通 PySpark 安装中，方案“gs”Google Storage Connector 没有文件系统 - No FileSystem for scheme "gs" Google Storage Connector in plain PySpark installation

我已经看过几个类似的问题 - here ， here和其他一些博客文章和 Stack overflow 问题。我有以下 PySpark 脚本并希望从 GCS 存储桶中读取数据失败并出现错误 - 我的环境设置Dockerfile如下所示：没有 HADOOP_HOME、SPARK_HOME、PYS ...

如何在Java中不暴露URL中的服务账号的情况下生成预签名的GCS URL？ - How to generate a GCS pre-signed URL without exposing the service account in the URL in Java?

我们不想让我们的用户暴露于内部信息，例如用于签署 URL 的服务帐户名称。文档提示可以使用简单的服务帐户 ID（ https://cloud.google.com/storage/docs/ access-control/signed-urls#considerations ）但是我在实现签名时找 ...

从 GCP 存储桶中读取音频/mp3 文件抛出被 CORS 策略阻止：不存在“Access-Control-Allow-Origin”header - Reading audio/mp3 file from GCP bucket throws blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present

我正在尝试使用 js 和 flask 创建音频播放器。音频文件是从 GCP 存储桶中检索的，并且音频文件具有公共访问权限。但是当我尝试播放它抛出的音频时，我的 HTML 代码如下所示：<audio class="js-audio-source" src="https://storage. ...

验证 CSV 文件并将其从 GCS 传输到 Python 中的远程网络驱动器 - Authenticating and transferring CSV files from GCS to a remote network drive in Python

我想使用容器化的 Python 应用程序连接到物理文件服务器上的 AD managed.network 驱动器并进行身份验证，然后将一些 csv 文件从 Google Cloud 存储桶传输到它，我想知道最好的选择是什么做这个？到目前为止，我已经确定我可以看到服务器使用： try: ...

GCS：我们可以在一个桶中有不同的 Storage Class 对象吗？ - GCS: Can we have different Storage Class objects inside a bucket?

我知道 AWS 云中的类似概念，其中一个存储桶可以容纳多个存储 class 对象，如标准 object 和 Coldline object。我尝试在 GCP 中搜索相同的内容，因为我将拥有的对象需要属于不同的 Storage Class 对象，因为它们不会被频繁访问。 ...

ENOENT no such file or directory error in cloud function 上传图片 - ENOENT no such file or directory error in cloud function upload image

我是云功能的新手，正在创建一个 function（除其他外）将图像从 Flutter image_picker 上传到云存储。下面是相关的cloud fn代码：我收到此错误： uploadProductPic 中的函数错误：[firebase_functions/internal] 项目：未定 ...

无法将媒体文件上传到 Firebase 模拟器 - Unable to upload media file toFirebase emulator

使用 Firebase 工具11.21.0和FIREBASE_STORAGE_EMULATOR_HOST=localhost:9199和 maven 依赖我启动了 firebase 模拟器。并尝试了一个简单的文件存储：emulatorStorage = StorageOptions.newBui ...

代理未出现在 UI 中（GCP 存储传输服务） - Agent not appears in UI(GCP storage transfer service)

在我的 GCP VM 上安装代理后，代理未出现在 UI 中，因此我无法执行传输作业，容器成功运行。来自agent.INFO的一些日志 ...

AttributeError：模块“google.cloud.bigquery._helpers”没有属性“PYARROW_VERSIONS” - AttributeError: module 'google.cloud.bigquery._helpers' has no attribute 'PYARROW_VERSIONS'

在 GCP jupyterlab 中运行以下导入命令时出现错误：代码：错误： AttributeError Traceback (最近调用 last) /tmp/ipykernel_5450/3407211047.py in 1 from google.cloud import storag ...

通过云端存储中上传的文件触发 Cloud Run 作业 - Trigger Cloud Run job by uploaded file in a Cloud Storage

由于事件驱动的 Cloud Functions 的执行时间限制为 10 分钟，因此我实施了一个更适合我需求的 Cloud Run Job。我可以手动运行 Cloud Run 作业，一切正常。现在，我想通过 Cloud storage 事件触发 Cloud Run 作业执行（类似于 Cloud F ...

如何将新添加的 avro 数据从 GCS 自动传输到 BigQuery - How to automatically transfer newly added avro data from GCS to BigQuery

我想安排 Cloud Storage 与 BigQuery 之间的数据传输作业。我有一个应用程序将数据连续转储到 GCS 存储桶路径（比方说gs://test-bucket/data1/*.avro ），我想在 GCS 中创建 object 后立即移动到 BigQuery。我不想一次又一次地迁 ...