BigQuery 接收器连接器配置错误

Question

我正在尝试将数据从 MySQL 提取到 BigQuery。 为此，我正在使用运行在 Docker 上的 Debezium 组件。

每当我尝试将 BigQuery 接收器连接器部署到 Kafka 连接时，我都会收到此错误：

{"error_code":400,"message":"Connector configuration is invalid and contains the following 2 error(s):\nFailed to construct GCS client: Failed to access JSON key file\nAn unexpected error occurred while validating credentials for BigQuery: Failed to access JSON key file\nYou can also find the above list of errors at the endpoint `/connector-plugins/{connectorType}/config/validate`"}

它表明这是服务帐户密钥的问题（试图找到它）

我授予服务帐户 BigQuery Admin 和 Editor 权限，但错误仍然存在。

这是我的 BigQuery 连接器配置文件：

{
    "name": "kcbq-connect1",
    "config": {
      "connector.class": "com.wepay.kafka.connect.bigquery.BigQuerySinkConnector",
      "tasks.max" : "1",
      "topics" : "kcbq-quickstart1",
      "sanitizeTopics" : "true",
      "autoCreateTables" : "true",
      "autoUpdateSchemas" : "true",
      "schemaRetriever" : "com.wepay.kafka.connect.bigquery.retrieve.IdentitySchemaRetriever",
      "schemaRegistryLocation":"http://localhost:8081",
      "bufferSize": "100000",
      "maxWriteSize":"10000",
      "tableWriteWait": "1000",
      "project" : "dummy-production-overview",
      "defaultDataset" : "debeziumtest",
      "keyfile" : "/Users/Oladayo/Desktop/Debezium-Learning/key.json"
    }

谁能帮忙？

谢谢你。

Answer 1

我需要将本地目录中的服务帐户密钥挂载到 Kafka 连接容器。 这就是我能够解决问题的方式。 谢谢：）