![](/img/trans.png)
[英]Error emitted when creating a connection between GCP Bigquery and Cloud SQL (Mysql 5.7) using bq command
[英]connection error from aws fargete to gcp bigquery by using Workload Identity
我通过在 EC2 上使用分配的角色,使用从 AWS EC2 到 GCP Bigquery 的 Workload Identity,它运行良好。
但是,当我通过使用 Fargate 任务角色从 AWS Fargete 到 GCP Bigquery 使用 Workload Identity 时,它不起作用。
在这种情况下,我应该如何设置工作负载身份?
我使用了下面的库。
implementation(platform("com.google.cloud:libraries-bom:20.9.0"))
implementation("com.google.cloud:google-cloud-bigquery")
Stacktrace 有以下消息
com.google.cloud.bigquery.BigQueryException: Failed to retrieve AWS IAM role.
at com.google.cloud.bigquery.spi.v2.HttpBigQueryRpc.translate(HttpBigQueryRpc.java:115) ~[google-cloud-bigquery-1.137.1.jar!/:1.137.1]
…
at java.base/java.lang.Thread.run(Unknown Source) ~[na:na]
Caused by: java.io.IOException: Failed to retrieve AWS IAM role.
at com.google.auth.oauth2.AwsCredentials.retrieveResource(AwsCredentials.java:217) ~[google-auth-library-oauth2-http-0.26.0.jar!/:na]
…
at com.google.cloud.bigquery.spi.v2.HttpBigQueryRpc.getDataset(HttpBigQueryRpc.java:126) ~[google-cloud-bigquery-1.137.1.jar!/:1.137.1]
... 113 common frames omitted
Caused by: java.net.ConnectException: Invalid argument (connect failed)
at java.base/java.net.PlainSocketImpl.socketConnect(Native Method) ~[na:na]
at com.google.auth.oauth2.AwsCredentials.retrieveResource(AwsCredentials.java:214) ~[google-auth-library-oauth2-http-0.26.0.jar!/:na]
... 132 common frames omitted
我有同样的问题,但对于 Python 代码,无论如何我认为它应该是相同的。 您得到这个是因为在 AWS Fargate 中获取 AWS IAM 角色与 AWS EC2 不同,您可以在 EC2 中从实例元数据中获取它们,如下所示:
curl http://169.254.169.254/latest/meta-data/iam/security-credentials/s3access
在 AWS Faragte 中:
curl 169.254.170.2$AWS_CONTAINER_CREDENTIALS_RELATIVE_URI
因此,为了解决这个问题,需要完成以下工作:
wif_cred_file["credential_source"]["url"]=f"http://169.254.170.2{AWS_CONTAINER_CREDENTIALS_RELATIVE_URI}"
# role_name = self._get_metadata_role_name(request)
role_name
function 参数中删除_get_metadata_security_credentials
名称。或者,如果您愿意,可以更改aws.py文件中的第 1 步,两种方式都可以。
应该就是这样。
我在使用 Google Cloud Storage (GCS) 时遇到了类似的问题。
正如 Peter 所提到的,检索 AWS Farage 任务的凭证与在 EC2 实例上运行代码不同,因此 Google SDK 无法编写正确的 AWS 凭证以与 Google Workload Identity Federation 进行交换。
我想出了一个解决方法,通过做两件事来省去在“../google/auth/aws.py”中编辑核心文件的麻烦:
import boto3
task_credentials = boto3.Session().get_credentials().get_frozen_credentials()
from google.auth.aws import environment_vars
os.environ[environment_vars.AWS_ACCESS_KEY_ID] = task_credentials.access_key
os.environ[environment_vars.AWS_SECRET_ACCESS_KEY] = task_credentials.secret_key
os.environ[environment_vars.AWS_SESSION_TOKEN] = task_credentials.token
解释:
I am using Python3.9 with boto3 and google-cloud==2.4.0, however it should work for other versions of google SDK if the following code is in the function "_get_security_credentials" under the class "Credentials" in "google.auth .aws" package:
# Check environment variables for permanent credentials first.
# https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html
env_aws_access_key_id = os.environ.get(environment_vars.AWS_ACCESS_KEY_ID)
env_aws_secret_access_key = os.environ.get(
environment_vars.AWS_SECRET_ACCESS_KEY
)
# This is normally not available for permanent credentials.
env_aws_session_token = os.environ.get(environment_vars.AWS_SESSION_TOKEN)
if env_aws_access_key_id and env_aws_secret_access_key:
return {
"access_key_id": env_aws_access_key_id,
"secret_access_key": env_aws_secret_access_key,
"security_token": env_aws_session_token,
}
警告:
在 ECS 任务中运行代码时,正在使用的凭证是临时的(ECS 承担任务的角色),因此您不能像通常建议的那样通过 AWS STS 生成临时凭证。
为什么会出现问题? 好吧,由于任务是使用临时凭据运行的,因此它会受到过期和刷新的影响。 为了解决这个问题,您可以设置一个后台 function 每隔 5 分钟左右再次执行一次操作(没有遇到临时凭证过期的问题)。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.