如何使用Java程序将数据加载到配置单元中？

Question

我尝试过通过命令行方式将数据加载到配置单元中。 这种方式可以正常工作。

现在，我想通过Java加载数据。 因此，为此目的，我编写了代码，并且能够创建表，数据库，向其中插入值，但是在使用load命令时却无法正常工作。

private static String driverName = "org.apache.hive.jdbc.HiveDriver";
        private static String databaseURL = "jdbc:hive2://server_name:10001/test";
        private static String userName = "<hadoop_user";
        private static String password = "<password>";
        private static Connection con = null;
        private final static Logger log = 
        private static String dbName="db_name",
                tableName="table_name",
                path = "";
private  void loadData(String path,String tableName) {

            // create statement
            Statement stmt;
            try {
                stmt = con.createStatement();
                String sql = "LOAD DATA LOCAL INPATH 'file:/"+path+ "' OVERWRITE INTO TABLE "+tableName+"";
                System.out.println("Load Data into  successful"+sql);
                stmt.execute("LOAD DATA LOCAL INPATH 'file:/"+path+ "' OVERWRITE INTO TABLE "+tableName+"");



                con.close();
            } catch (SQLException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }

解决这个问题

Caused by: org.apache.hadoop.hive.ql.security.authorization.plugin.HiveAccessControlException: Permission denied: Principal [name=hadoop, type=USER] does not have following privileges for operation LOAD [[SELECT, INSERT, DELETE, OBJECT OWNERSHIP] on Object [type=LOCAL_URI, name=file:/D:/DTCC/Pig/Dummy_data_Main.tsv]]
    at org.apache.hadoop.hive.ql.security.authorization.plugin.sqlstd.SQLAuthorizationUtils.assertNoDeniedPermissions(SQLAuthorizationUtils.java:414)
    at org.apache.hadoop.hive.ql.security.authorization.plugin.sqlstd.SQLStdHiveAuthorizationValidator.checkPrivileges(SQLStdHiveAuthorizationValidator.java:96)
    at org.apache.hadoop.hive.ql.security.authorization.plugin.HiveAuthorizerImpl.checkPrivileges(HiveAuthorizerImpl.java:85)
    at org.apache.hadoop.hive.ql.Driver.doAuthorizationV2(Driver.java:725)
    at org.apache.hadoop.hive.ql.Driver.doAuthorization(Driver.java:518)
    at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:455)
    at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:303)
    at org.apache.hadoop.hive.ql.Driver.compileInternal(Driver.java:1067)
    at org.apache.hadoop.hive.ql.Driver.compileAndRespond(Driver.java:1061)
    at org.apache.hive.service.cli.operation.SQLOperation.prepare(SQLOperation.java:100)
    ... 15 more

我试过的内容：1）我对表HDFS路径上的hadoop用户授予所有权限2）我对表（例如SELECT，INSERT，DELETE）授予所有权限

请帮助我解决此问题。

Answer 1

请确保以下内容-

• 如果您有kerberos安全设置，请不要忘记使用kinit
• 用户“ hadoop”应该有权在该文件夹（配置单元表位置）上进行写操作。 -对于要更改权限的任何HDFS路径，仅“更改权限”或“ chmod”命令将不起作用。 您需要运行“ hdfs dfs -setfacl -R -m user :: rwx”。
• 另外，请确保此表位置与成功创建的其他表具有相同的父目录。 [有时，管理员可以限制在其他位置创建表]。