Flink sql api - 如何读取 kafka 事件，该事件又具有 s3 的位置

Question

我正在尝试使用 flink sql 从 kafka 主题读取数据。 我们有一个模式，如果有效负载大小大于 1MB，我们将有效负载上传到 s3，并在 kafka 事件中将一个位置发送到 s3。 我有一个这样的 flink 表

 CREATE TABLE table_name
(
    header VARCHAR,
    contentJson varchar,
    `timestamp` timestamp_ltz
) WITH (
      'connector' = 'kafka',
      'topic' = 'topic-name',
      'properties.bootstrap.servers' = 'localhost:29092,localhost:39092',
      'json.timestamp-format.standard' = 'ISO-8601'
      );

这里的contentJson字段可以是实际的 json，例如

{
"stack": "stuff"
}

或者它可以是像/some-bucket/some-folder/actual-file.json这样的字符串

我该如何使用

insert into final_table
select 
JSON_VALUE(header, '$.some-path-json') as value-1,
JSON_VALUE(contentJson, '$.some-path-json') as value-2 -- this works if the `contentJson` is actual json and not a point to s3 bucket.
from table_name

问题是可以用 flink sql 完成这一切，还是我应该将表转换为 stream 并处理消息，我可以调用 aws s3 api 来获取数据是contentJson是一个 s3 位置

Answer 1

解决这类问题的正确方法是使用lookup join ，不幸的是， filesystem连接器不支持它。

我认为现在最好的解决方案是使用DataStream API 来完成。

我写这个例子是为了展示一个可能的解决方案，但我建议不要使用它，原因如下：

• 默认情况下，两个表的内容将永远保存在 Flinks state 中 - 更多信息
• 它要求文件已被 Flink 读取到其 state（您可以使用source.monitor-interval设置读取文件的间隔）
• 您要读取的文件必须位于您为filesystem表指定的路径中

CREATE TABLE kafka_source (
  json_or_file STRING
) WITH (
  'connector' = 'kafka',
  -- ...
)

CREATE TABLE file_source (
  content STRING,
  `file.path` STRING NOT NULL METADATA
) WITH (
  'connector' = 'filesystem',
  'path' = 'file:///tmp/test',
  'format' = 'raw'
)

SELECT 
  header, 
  CASE WHEN file_source.content IS NULL THEN 
    JSON_VALUE(kafka_source.json_or_file, '$.key') 
  ELSE 
    JSON_VALUE(file_source.content, '$.key') 
  END 
FROM 
  kafka_source FULL 
  OUTER JOIN file_source ON file_source.`file.path` = kafka_source.json_or_file 
WHERE 
  JSON_VALUE(
    kafka_source.json_or_file, '$.key'
  ) IS NOT NULL 
  OR file_source.content IS NOT NULL