使用 spark-submit 为 Spark 作业设置 HBase 属性

Question

在 Hbase 数据迁移期间，我遇到了java.lang.IllegalArgumentException: KeyValue size too large

从长远来看：

我需要增加/etc/hbase/conf/hbase-site.xml的属性hbase.client.keyvalue.maxsize （从 1048576 到 10485760），但我现在无法更改此文件（我需要验证）。

在短期内 ：

我已成功使用命令导入数据：

hbase org.apache.hadoop.hbase.mapreduce.Import \
  -Dhbase.client.keyvalue.maxsize=10485760 \
  myTable \
  myBackupFile

现在我需要使用 spark-submit 运行 Spark 作业

什么是更好的方法：

• 使用“spark”作为 HBase 属性的前缀。 （我不确定这是否可能，以及它是否有效）

spark-submit \
  --conf spark.hbase.client.keyvalue.maxsize=10485760

• 使用 'spark.executor.extraJavaOptions' 和 'spark.driver.extraJavaOptions' 显式传输 HBase 属性

spark-submit \
  --conf spark.executor.extraJavaOptions=-Dhbase.client.keyvalue.maxsize=10485760 \
  --conf spark.driver.extraJavaOptions=-Dhbase.client.keyvalue.maxsize=10485760

Answer 1

如果您可以更改代码，则应该能够以编程方式设置这些属性。 我认为过去在 Java 中这样的事情曾经对我有用：

Configuration conf = HBaseConfiguration.create();
conf.set("hbase.client.scanner.timeout.period", SCAN_TIMEOUT); // set BEFORE you create the connection object below:
Connection conn = ConnectionFactory.createConnection(conf);