通过 Athena 创建 Glue 数据目录 SDK

Question

我想使用 Athena 对另一个 AWS 账户中 S3 存储桶中的数据运行查询。 我正在使用 Javascript SDK。通过阅读文档，我明白我必须首先创建一个数据目录，将 Athena 指向正确的 S3 位置。

我认为我必须调用createDataCatalog方法。 此方法的大部分 arguments 都是不言自明的，除了“参数”参数，它似乎包含有关如何创建数据目录的信息。 但我无法在任何地方找到这些参数的外观。

所以我的问题是：

1. 提供给这里的参数是什么？
2. 这是创建粘合数据目录（包括数据库和表）的正确方法吗？
3. 完成后，这是否允许我在数据目录上运行 Athena 查询？

Answer 1

对于具有 static S3 数据的简单用例，

• 我们首先需要使用指向 S3 位置的 Glue createTable API 创建 Glue Table。 cli 文档中的几个示例。
• 从Athena对这个 Glue Table 运行查询

下面是创建 Glue 数据库和表的示例

const AWS = require("aws-sdk");
AWS.config.update({ region: "us-east-1" });

const glue = new AWS.Glue();
const dbName = "test-db";
glue.createDatabase(
  {
    DatabaseInput: {
      Name: dbName,
    },
  },
  function (dbCrtErr, dbRsp) {
    if (dbCrtErr.message === "Database already exists." || dbRsp) {
      console.log("dbRsp", dbRsp);
      glue.createTable(
        {
          DatabaseName: dbName,
          TableInput: {
            Name: "my-table",
            Parameters: {
              classification: "json",
              compressionType: "none",
            },
            TableType: "EXTERNAL_TABLE",
            StorageDescriptor: {
              Location: "s3://my-s3-bucket-with-events/",
              InputFormat:
                "org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat",
              OutputFormat:
                "org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat",
              Columns: [
                {
                  Name: "id",
                  Type: "string",
                },
                {
                  Name: "name",
                  Type: "string",
                },
              ],
            },
          },
        },
        function (error, response) {
          console.log("error", error, "response", response);
        }
      );
    } else {
      console.log("dbCrtErr", dbCrtErr);
    }
  }
);