使用 ksqldb-server 在 kafka 中创建表

Question

我正在尝试使用以下代码（bash 脚本）通过其 REST 接口使用（Confluent）ksqldb-server 创建一个 kafka 表：

KSQLDB_COMMAND="CREATE TABLE sample_table \
  (xkey VARCHAR, \
   xdata VARCHAR) \
  WITH (KAFKA_TOPIC=\'sample-topic\', \
        VALUE_FORMAT=\'JSON\', \
       KEY=\'xkey\'); "

COMMAND="curl -X 'POST' '$KSQLDB_SERVER' \
    -H 'Content-Type: application/vnd.ksql.v1+json; charset=utf-8' \
    -d '{ \"ksql\": \"$KSQLDB_COMMAND\" }' "
eval $COMMAND

返回以下错误 output 消息：

{"@type":"statement_error","error_code":40001,"message":"Failed to prepare statement: Invalid config variable(s) in the WITH clause: KEY","statementText":"CREATE TABLE sample_table (xkey VARCHAR, xdata VARCHAR) WITH (KAFKA_TOPIC='sample-topic', VALUE_FORMAT='JSON', KEY='xkey');","entities":[]}%

该错误表明实际语句中存在错误，尤其是 KEY 属性。

我可以使用 REST 接口获取基本命令（“LIST STREAMS”等），但无法创建表，因此我认为这是 KSQL 语句中的问题或我如何创建 bash 命令（在“COMMAND”变量中）。

任何帮助表示赞赏。

Answer 1

我花了相当多的时间进行实验并让这个简单的示例工作（我最初的尝试需要太多的 bash 变量替换以使其有用/可维护，所以这个版本被简化了很多）。 我还发现 KSQLDB 表名必须遵循表名的常规 SQL 命名约定（即 alpha、下划线等......但没有连字符，这在我原来的问题中导致了一堆错误......我应该阅读文档更仔细）。

以下工作（您可能需要更改您的 KSQLDB 服务器地址）......并且只需很少的更改，几乎可以执行任何 KSQLDB 命令：

####
# NOTE: table MUST be alpha (underscores are OK)... hyphens are not allowed
####
KSQLDB_SERVER="http://localhost:8088/ksql"
KSQLDB_TABLE="some_table"
KSQLDB_TOPIC="some_topic"
VALUE_FORMAT="JSON"

FMT="{ \"ksql\": \"CREATE TABLE %s (key VARCHAR PRIMARY KEY, data VARCHAR) WITH (KAFKA_TOPIC='%s', VALUE_FORMAT='%s');\" }"
JSON_DATA=$(printf "$FMT" "$KSQLDB_TABLE" "$KSQLDB_TOPIC" "$VALUE_FORMAT")

curl -X "POST" "$KSQLDB_SERVER" \
     -H "Content-Type: application/vnd.ksql.v1+json; charset=utf-8" \
     -d "$JSON_DATA"

Answer 2

您不能为表指定 KEY，KEY 用于流。 您应该在类型声明中对表使用 PRIMARY KEY。例如：

创建或替换表 TABLE_1 (ID INT PRIMARY KEY, EMAILADDRESS VARCHAR, ISPRIMARY BOOLEAN, USERID INT, PARANT INT)WITH (KAFKA_TOPIC='test_1', VALUE_FORMAT='AVRO', KEY_FORMAT='AVRO');