Hive UDF将二进制（utf8）转换为Base64字符串

Question

我在镶木地板文件中存储了一个二进制节俭字段。 Parquet将其写为二进制（UTF8），我想使用Hive UDF将其转换为Base64 String。 它应该是非常基本的，但是不知道为什么我的代码不起作用，这是我尝试过的，

 public class Base64Encode extends UDF {
  public Text evaluate(Text bin) {
    if (bin != null) {
      String encoded = new String(Base64.getEncoder().encode(bin.getBytes()));
      if (encoded != null) {
        return new Text(encoded);
      }
    }
    return null;
  }

}

Answer 1

您无需为此任务创建自己的UDF。 已经定义了几个。 在您的问题中，您说Parquet将数据存储为二进制，但是示例代码的参数类型为Text。

如果您的参数已经是二进制文件，则只需使用：

base64(bin_field)

否则，如果它是文本格式，并且您想将其转换为Binary UTF-8，然后转换为base 64，请组合：

base64(encode(text_field, 'UTF-8'))