curl：(56) GCP SDK 失败，但 VM 中没有

Question

目标

我想从在线数据库中将一个 zip 大文件下载到 GCP 存储桶中。 当涉及到 GCP 和在终端工作时，我不是很懂技术，而且我偶然发现了一些我无法解决的问题。

我试过的

我尝试以几种不同的方式执行上述操作。 首先，我在 GCP 上的云 shell 中尝试了以下命令： curl -O https://website/file.zip | gsutil cp - gs://bucke/file.zip curl -O https://website/file.zip | gsutil cp - gs://bucke/file.zip没有用，所以我在我的 Windows 计算机上的 Google Cloud SDK shell 中尝试了它，我得到了以下 output（没有 gsutil 的 cURL 给出了相同的输出）：

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  1 43.5G    1  735M    0     0   239k      0 52:55:07  0:52:23 52:02:44     0
curl: (56) Send failure: Connection was reset
'count' is not recognized as an internal or external command,
operable program or batch file.
Copying from <STDIN>...
/ [1 files][    0.0 B/    0.0 B]
Operation completed over 1 objects.

最后，我在 (Ubuntu) VM 中尝试了 cURL 命令，它运行良好。 唯一的问题是我没有足够的权限使用 gsutil 将文件上传到 GCP 存储桶（我收到 403 错误，在上传其他文件时也是如此）。

假设问题

我注意到我不是唯一遇到类似问题的人，所以我研究了几个建议的解决方案（ 1 、 2 、 3 ）， 这个解决方案提到它一定是我的系统存在一些问题，因为它在 VM 中运行良好. 当我尝试从我的计算机上的云 sdk shell 从不同的网站下载和上传一个小文件（使用相同的命令）时，它工作正常。 从同一网站下载更小的 zip 文件不会像以前那样返回错误，而是返回：

 % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 12.2M  100 12.2M    0     0   313k      0  0:00:40  0:00:40 --:--:--  354k

'count' is not recognized as an internal or external command,
operable program or batch file.
Copying from <STDIN>...
/ [1 files][    0.0 B/    0.0 B]      0.0 B/s
Operation completed over 1 objects.

当我从 GCP 存储桶下载 zip 文件时，它似乎是一个无效的 zip 文件。

很明显，问题出在网站与我的电脑的连接上。 （因为具有相同网站的其他计算机可以工作，而具有相同计算机的其他网站可以工作），我猜这可能是防火墙问题，但我对此的了解非常有限。 有人可以帮我从这里拨打 go 继续进行故障排除吗？ 我如何确定它是否确实是防火墙问题，以及如何解决此问题（或查找有关如何逐步执行此操作的信息）？

任何帮助深表感谢！

Answer 1

从 curl 命令中删除-O 。 您的文件正在本地保存（检查本地目录中的 file.zip），而不是通过管道传输到 gsutil。

curl https://website/file.zip | gsutil cp - gs://bucke/file.zip

curl 的-O标志将 output 强制到文件，而不是 STDOUT，因此管道中的下一个命令 (gsutil) 什么也接收不到。

Answer 2

当您对大文件使用流式上传时，建议先将数据写入本地文件 [1]。 所以你可以尝试：

首先，下载到本地文件。

curl-O URL

其次将文件上传到您的存储桶 [2]

gsutil cp 文件 gs://bucket

另外，也许您可以尝试使用一个小文件进行测试：

curl " http://nginx.org/download/nginx-1.17.10.zip " | gsutil cp - “gs://bucke/nginx-1.17.10.zip”

[1] https://cloud.google.com/storage/docs/gsutil/commands/cp#streaming-transfers

[2] https://cloud.google.com/storage/docs/gsutil/commands/cp#copying-tofrom-subdirectories-distributing-transfers-across-machines