将来自多个源配置单元列的数据复制到不同行中的目标配置单元表的单列

Question

我需要将数据从一个Hive源表复制到其他目标表。 下面是包含示例数据的源表结构：

source_table
Userid  Name    Phone1   Phone2  Phone3  Address1   Address2    Address3
123     Jitu    123456   987654  111111  DELHI      GURGAON     NOIDA       
234     Mark    123456   987654  111111  UK         USA         IND

在将数据从源复制到目标时，我的要求是在目标表的单个列中包含Phone1，Phone2，Phone3以及相应的Address1，Address2和Address3列。 以下是目标表中数据的外观：

Target_table
Userid  Name    Phone_no    Address
123     Jitu    123456      DELHI
123     Jitu    987654      GURGAON
123     Jitu    111111      NOIDA
234     Mark    123456      UK
234     Mark    987654      USA
234     Mark    111111      IND

我知道最简单的方法是使用配置单元查询语言或spark数据帧为源表中的每个Phone和地址列多次插入目标表。

有没有其他有效的方法可以用来实现这一目标。

Answer 1

可以为每个列索引多次选择原始数据帧，然后通过“union”将所选数据帧合并为一个：

val df = Seq(
  (123, "Jitu", "123456", "987654", "111111", "DELHI", "GURGAON", "NOIDA"),
  (234, "Mark", "123456", "987654", "111111", "UK", "USA", "IND")
).toDF(
  "Userid", "Name", "Phone1", "Phone2", "Phone3", "Address1", "Address2", "Address3"
)

val columnIndexes = Seq(1, 2, 3)
val onlyOneIndexDfs = columnIndexes.map(idx =>
  df.select(
    $"Userid",
    $"Name",
    col(s"Phone$idx").alias("Phone_no"),
    col(s"Address$idx").alias("Address")))

val result = onlyOneIndexDfs.reduce(_ union _)

输出：

+------+----+--------+-------+
|Userid|Name|Phone_no|Address|
+------+----+--------+-------+
|123   |Jitu|123456  |DELHI  |
|123   |Jitu|111111  |NOIDA  |
|123   |Jitu|987654  |GURGAON|
|234   |Mark|123456  |UK     |
|234   |Mark|987654  |USA    |
|234   |Mark|111111  |IND    |
+------+----+--------+-------+

Answer 2

以防万一，如果您对Hive解决方案感兴趣，在连接多个数组结果集时，横向视图会产生笛卡尔积。您可以使用posexplode获得相同的结果，如下所示：

select Userid,Name,phone,address
from source_table
lateral view posexplode(array(Phone1,Phone2,Phone3))  valphone as x,phone
lateral view posexplode(array(Address1,Address2,Address3)) valaddress as t,address
where x=t
;

hive> set hive.cli.print.header=true;

userid  name    phone   address
123     Jitu    123456  DELHI
123     Jitu    987654  GURGAON
123     Jitu    111111  NOIDA
234     Mark    123456  UK
234     Mark    987654  USA
234     Mark    111111  IND
Time taken: 2.759 seconds, Fetched: 6 row(s)