如何使用预提交验证 Hive HQL 语法？

Question

是否有一个钩子可以验证 HiveQL 语句是否存在诸如基本语法错误之类的错误？ 我想在提交到 git 存储库之前检查语句。

Answer 1

这是一个很好的问题，也是 SQL 世界中的一个老问题。 对于蜂巢选项是有限的。 你有两个选择——第一个是低努力但不是完全证明，第二个是完全证明但需要大量工作。

1. 您可以使用explain sql_statement; 对于insert/update/delete/select类型 SQL。 但这并不能保证您的 DML 语句在更改数据时不会失败。 可能存在数据类型、长度不匹配。 所以这个选项不是完全证明，但它可以以最少的努力使用。
2. 您可以创建沙箱环境/模式并在那里运行脚本。 您必须模仿您的生产环境并在那里设置表、模式。 完整的证明选项，但工作更多。 您可以创建某种脚本来将元数据与 prod env 同步。