列值总是被截断

Question

我目前正在做一个小项目，我从 kafka 主题中获取 stream 机器数据（JSON 格式）以供进一步分析。

列值中的 JSON 应拆分为多个列及其相应的值。 现在我总是遇到无法在列值中看到所有数据的问题，视图似乎总是被截断。

读取 stream：

val df = spark
  .read
  .format("kafka")
  .option("kafka.bootstrap.servers", "20.86.42.36:9092")
  .option("subscribe", "machine1")
  .load()

display(df)

结果： Dataframe 和 base64 编码消息

我的第一个问题是我收到了二进制数据，我通过使用以下代码将其转换为字符串来解决这个问题：

val df1 = df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
  .as[(String, String)]

结果：在此处输入图像描述

现在我仍然遇到看不到完整列值的问题，这让我很难将 JSON 数据转换为单列。

我使用display(df1)来打印 dataframe。

有人知道我做错了什么吗？

Answer 1

尝试df.show(False)打印而不截断。

我怀疑显示function是相似的。

此外，您还没有 base64 解码任何内容。 转换为字符串没有返回 JSON，仅从主题中反序列化 UTF8 字节（数据块可能通过显示 function 显示为 Base64，但如果简单地转换返回的 JSON，这并不是 Kafka 中的实际内容）