将日期转换为Impala时间戳

Question

我正在将sqoop的数据从MySQL导入到hdfs中作为木地板文件，以供Impala使用。 MySQL DATE类型到Impala TIMESTAMP的转换存在问题。

执行compute stats table或select *时，Impala错误消息是：

File 'hdfs://....parquet'
has an incompatible type with the table schema for column 'day'.
Expected type: INT32.  Actual type: INT64

将日期列的数据类型更改为BIGINT或STRING会使错误msg保持不变。

即使我将Impala中的day列类型更改为STRING并在sqoop中设置--map-column-java“ day = String”（也尝试使用day = Integer和Long），我也会得到：

Expected type: INT32.  Actual type: BYTE_ARRAY in Impala

我还尝试在jdbc连接字符串中设置mapDateToTimestamp = false（和true），但没有任何效果

使用镶木地板文件时，使用sqoop将MySQL DATE转换为Impala TIMESTAMP的方法是什么（请注意，我未使用AVRO）？

（我使用的sqoop版本是1.4.5-cdh5.3.3）Sqoop命令如下所示：

sqoop import
--connect jdbc:mysql://adress/db
--username name
--password pass
--table tableName
--target-dir dir
--as-parquetfile -m 1
--driver com.mysql.jdbc.Driver

编辑：我尝试转换SQL日期与

--query "SELECT UNIX_TIMESTAMP(STR_TO_DATE(day, '%Y-%m-%d'))

但是Impala认为它是INT64，期望是INT96。 那么另一个问题是如何将其转换为INT96？

Answer 1

您尝试过INT96吗？ 我也认为您将无法将TINYINT，SMALLINT列转换为BIGINT

Answer 2

看起来唯一的方法是使用--map-column-java "day=String" ，或者将该列作为Impala中的STRING，并将cast()函数用于带day的查询或使用临时表。

Answer 3

通常我们遵循的是，当我们从瓢或其他外部系统导入时，所有数据类型将在着陆后默认使用字符串（着陆）

from_unixtime(unix_timestamp(<datecol>,yyyyMMdd'),'yyyy-MM-dd')

转换为Impala特定时间戳