繁体   English   中英

导入时强制sqoop重新创建配置单元架构

[英]Force sqoop to re-create hive schemas when importing

我们正在使用Sqoop(1.4.6)将数据库从MySQL导入到Hive。 一切正常,除非在源数据库中更新表模式(主要是添加列)。 修改不会在Hive中结束。 似乎Hive模式仅创建一次,并且在每次导入中均未验证。 行加载正常,但是当然会缺少新列。 我们可以通过首先删除数据库以强制在Hive中重新创建架构来解决此问题,但我的问题是,有没有办法直接从Sqoop进行此操作?

我们的导入脚本类似于:

sqoop import-all-tables 
  --compress 
  --compression-codec=snappy 
  --connect "jdbc:mysql://HOST:PORT/DB" 
  --username USER
  --password PASS 
  --hive-import 
  --hive-overwrite 
  --hive-database DB 
  --as-textfile 

您可以使用hcatalog表代替蜂巢,它将起作用。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM