每天在Hive修改外部表

Question

我在蜂巢中有一個外部桌子，我想每天更改其位置。 我想直接在蜂巢腳本中執行以下操作：

 set current_day = from_unixtime(unix_timestamp(), 'yyyy_mm_dd');
 ALTER TABLE myTable ADD PARTITION (dt=${hiveconf:current_day})
 LOCATION concat('s3://.../',${hiveconf:current_day});

您能告訴我Hive中正確的腳本嗎？

最好的

Answer 1

看看這個python 腳本
每次在外部表的根目錄下創建一個新文件夾時，它都應該為外部表創建一個新分區。

如果腳本不符合您的需求，您可以隨時編寫一個快速的bash腳本，以正確的字符串格式接受日期並執行：

hive -e "use myDB; alter table myTable add partition ($SOMEDATE);"

然后，您可以將此腳本添加到crontab並每天執行一次。