火花紗簇的權限問題

Question

我在HDP 2.1群集上安裝了spark 1.5.1進程。 它使用hadoop 2.4.0，並且在驅動程序嘗試寫入給定的Hive表時出現權限被拒絕的問題。

提交作業的用戶為gvp_service，在作業期間，其工作人員可以使用gvp_service權限進行寫入，但是與元存儲庫交互時，我收到以下異常：

造成原因：org.apache.hadoop.ipc.RemoteException（org.apache.hadoop.security.AccessControlException）：權限被拒絕：user = yarn，access = WRITE，inode =“ / apps / hive / warehouse / gbic_video_video.video / db / gbic_video_video_raw_users / global_op_id = 1000 / service_type = 1 / day = 2015-09-15“：gvp_service：hdfs：drwxr-xr-x在org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission（FSPermissionChecker.java:265）

為什么要使用紗線用戶執行此任務？ 是否要使用Hadoop客戶端2.4.0？

Answer 1

您可以檢查作業是由哪個用戶提交的嗎？ 要與配置單元交互，您應該在$ SPARK_INSTALL_DIR / conf中具有“ hive-site.xml”，並包含以下內容

<configuration>
<property>
  <name>hive.metastore.uris</name>
  <!-- Ensure that the following statement points to the Hive Metastore URI in your cluster -->
  <value>thrift://<METASTORE IP>:9083</value>
  <description>URI for client to contact metastore server</description>
</property>
</configuration>

希望這可以幫助