在Hive中动态更新所有列的空值

Question

我有一个75列和411274行的数据集，其中许多条目为null或NA我想用Data_not_available替换所有这些值。有没有一种方法可以动态地做到这一点，而不是输入每个列名来检查和更新数据？ 我不想使用与此类似的代码

SELECT * 
FROM table 
WHERE 1 = CASE 
      WHEN column1 is null OR column2 is null OR ..... OR columnN is null THEN 1
      ELSE 0
      END

这会浪费很多时间。

Answer 1

您可以使用regexp_replace UDF执行所需的操作。

regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT)

返回将替换INITIAL_STRING中所有与PATTERN中定义的Java正则表达式语法匹配的子字符串替换为REPLACEMENT的实例所产生的字符串。 例如，regexp_replace（“ foobar”，“ oo | ar”，“”）返回'fb'。 请注意，使用预定义的字符类时必须格外小心：使用'\\ s'作为第二个参数将与字母s匹配； '\\ s'是匹配空格等所必需的。

因此，在您的情况下，您可以使用类似以下内容的方法：

SELECT
   regexp_replace(column1, 'null|NA', 'Data_not_available') as column1,
   column2,
   column3,
FROM table

Answer 2

COALESCE和IF函数将帮助您动态地进行操作。 如您所见，计算出的投影（select）可以按您的需要工作。

create table test_3(field String);
insert into test_3 values( null ), ( "NA"), ("A good value");

select * from test_3;
+---------------+--+
| test_3.field  |
+---------------+--+
| NULL          |
| NA            |
| A good value  |
+---------------+--+

select if ( coalesce( field, "NA") = "NA", "Data Not Available", field ) from test_3;
+---------------------+--+
|         _c0         |
+---------------------+--+
| Data Not Available  |
| Data Not Available  |
| A good value        |
+---------------------+--+