如何将 hbase-site.xml 传递给 Google Cloud Dataflow 模板

[英]How to pass hbase-site.xml to Google Cloud Dataflow template

我们有一个设置，我们有一个在谷歌云上运行的 Hbase 集群，并使用我想写入 Hbase 表的 Dataflow。 为此，我想在 staging 中传递我的hbase-site.xml文件，然后在 prod 中，我将在生产环境中传递不同hbase-site.xml 。 但是，我找不到将资源文件传递给 ...

如何在启动 hbase 时解决“无法加载类“org.slf4j.impl.StaticLoggerBinder””

[英]How to resolve "Failed to load class "org.slf4j.impl.StaticLoggerBinder"" while start hbase

我尝试通过命令start-hbase.sh启动我的 hbase 集群。 我收到以下错误： 然后我通过jps检查，没有任何关于 hbase 的进程。 然后我删除文件/home/michael/opt/modules/hbase/hbase-2.4.11/lib/client-facing-thir ...

SQLException: 找不到适合 jdbc:phoenix:(hosts) 的驱动程序

[英]SQLException: No suitable driver found for jdbc:phoenix:(hosts)

我正在运行一个 spark-submit 命令，它将通过 Scala 类执行一些数据库工作。 当我运行时，我得到一个异常： 以下是我的 Scala 代码的相关部分： 我的spark-submit命令包括/usr/lib/phoenix/phoenix-client-hbase-2.4-5 ...

转型地区 - java 申请

[英]Regions In Transition в java application

请告诉我出了什么问题，我是使用 hbase 的新手。 在java应用程序中为hbase创建区域时，出现以下错误。 代码如下： 执行此代码并创建所需的 20 个区域中的 1 个。 创建第一个后，出现上述错误。 需要添加什么？ 我希望有任何帮助 ...

Zookeeper java.lang.NoClassDefFoundError: org/eclipse/jetty/server/Connector

[英]Zookeeper java.lang.NoClassDefFoundError: org/eclipse/jetty/server/Connector

在我的 Mac 上使用 Zookeeper 启动 Apache HBase 时出现以下错误。 我正在使用openjdk11。 任何人都可以帮助我解决我所缺少的吗？ ...

表被截断后Hbase从快照恢复表

[英]Hbase restore table from snapshot after the table is truncated

我按顺序执行了以下语句： 当我扫描表 1 时，我得到 0 行（基本上它有 108,415,618 行） “snap_table1”和“table1”发生了什么？ 另外，我在下面执行。 table2用snap_table1恢复成功 我是 Hbase 的新手，每天都在学习它。 你能给我有关快照细节的 ...

如何使用 Mocha/Node.js 测试 Hbase Get

[英]How to test Hbase Get using Mocha/Node.js

大家好，我有一份工作有一种方法，可以在给定 Node.js 中的密钥的情况下从 HBase 中提取数据，如下所示： Hbase.get 的工作方式如下： 我需要使用 mocha 或 chai 测试此方法 (findHbaseData) 但我的环境测试 (Jenkins) 无法访问 Hbase，可 ...

为什么聚合在 HBase 中是不可能的？

[英]Why aggregations are not possible in HBase?

我想知道为什么 HBase 本身不支持诸如SUM / AVG之类的聚合操作。 我知道有几种解决方法可以实现相同的目的，但是虽然有这些解决方法，但为什么 HBase 本身不提供它。 更重要的是，请解释为什么不能执行这些关于Hbase使用的Key-Value数据结构及其背后的查询逻辑的操作。 ...

zookeeper在reduce阶段查询次数过多时，如何解决zookeeper连接过多的问题？

[英]How to solve the "too many connection" problem in zookeeper when I want to query too many times in reduce stage?

对不起，我的愚蠢问题，并在此先感谢您。 我需要替换 reduce 阶段（或 map 阶段）的输出值。 但是，它会导致 zookeeper 中的连接过多。 我不知道该如何处理。 这是我的减少方法： 这是查询方法： 我应该怎么做才能解决它？ 再次感谢你 ...

Spark 3.2.1 获取 HBase 数据不适用于 NewAPIHadoopRDD

[英]Spark 3.2.1 fetch HBase data not working with NewAPIHadoopRDD

下面是用于从 HBase 获取数据的示例代码片段。 这适用于 Spark 3.1.2。 但是升级到 Spark 3.2.1 后，它不起作用，即返回的 RDD 不包含任何值。 此外，它不会抛出任何异常。 此外，如果我们不使用 NewAPIHadoopRDD 直接使用 Scan 获取，它就可以工作。 ...

有没有办法在使用 Beam 导入 HBase 期间修改/创建 PCollection 中的新键？

[英]Is there a way to modify/create new Keys in a PCollection during HBase Import using Beam?

我想在 Apache Beam 导入作业期间为 HBase 密钥添加前缀/后缀。 下面是创建保存 HBase 数据的 PCollection 的代码： 在 PTransform 期间，我收到这样的数据： 我可以在哪里更新 Hbase 密钥？ HBase Put object 需要与 contex ...

如何为 Phoenix 瘦驱动程序设置超时？

[英]How to set a timeout to Phoenix thin driver?

我正在开发一个带有 Spring 引导的微服务，并使用 Phoenix 瘦驱动程序来查询 HBase 表。 我想将超时设置为 2 分钟，但设置被忽略： 为了测试这个场景，我启动了 Phoenix Query Server，但没有启动 HBase 服务器。 之后，我通过 Phoenix 对 HBas ...

HBase 存储文件存储位置

[英]HBase store file storage location

HBase 中的每个 Region Server 都分配了一些表的一些区域。 这些 Region Server 可能有很多 Region，它们对应的 Store 文件在其他 HDFS Datanode 上都有副本。 如果一个 Region Server 宕机，那么 HMaster 将分配另一台服务 ...

如何检查 Spark/Scala 中记录之间的连续行？

[英]How to check consecutive rows between records in Spark/Scala?

我想检查 HBase 表中每一分钟的数据，如果在 30 秒内连续接收到大于 50 的数据，则需要生成一个警报。 但是如果我们在 30 秒的持续时间内收到少于 50 个，则需要检查下一行。 数据如下所示： 身份证时间速度 1 10:00:00 50 1 10:00:05 51 1 10:00:1 ...

HBase 到增量表

[英]HBase to Delta Tables

我们正在将 Hadoop 工作负载迁移到 Azure Databricks。 在现有的 Hadoop 生态系统中，我们有一些 HBase 表，其中包含一些数据（不大）。 由于 Azure Databricks 不支持 Hbase，因此我们计划是否可以将 HBase 表替换为 Delta 表。 这在技 ...

为什么我收到“权限被拒绝”错误 HADOOP？ 为什么我无法导入.csv 文件？

[英]Why I'm getting "Permission denied " error HADOOP? And Why I'm unbale to import .csv file?

我在 hbase 中有这张名为“emp”的表。 我通过 put 命令在其中插入了 2 行。 但是，现在我想从 csv 文件中添加数据。 您可以看到我当前的工作目录是： /home/cloudera ，其中我有sample_kpi.csv 。 因此，路径= /home/cloudera/sample ...

在 airflow bashOperator 中使用 HBase put 命令

[英]Using HBase put command in airflow bashOperator

我正在尝试使用 Airflow BashOperator任务将一些数据插入到 Hbase 表中。 我尝试先调用 hbase shell 然后将一些数据插入我的表中： 我收到一条错误消息，提示错误 - Bash 命令失败。 [2022-01-06 11:01:17,077] {bash_operat ...

如何重新创建现有的 HBASE 表以添加加盐键？

[英]How do you recreate an existing HBASE table to add salted keys?

我有一个包含 100 万行的 HBASE 表，我们遇到了热点问题。 我想用加盐的行键重新创建这个表。 我试图将“org.apache.hadoop.hbase.mapreduce.Import/CopyTable”放入一个新的加盐表中，但它没有我在迁移带有前缀的行时遇到的唯一解决方案是 Phoen ...

HBase Shell - org.apache.hadoop.hbase.ipc.ServerNotRunningYetException：服务器尚未运行

[英]HBase Shell - org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet

我正在尝试在 3 个节点上设置分布式 HBase。 我已经设置了 hadoop、YARN ZooKeeper 和现在的 HBase，但是当我启动hbase shell并运行最简单的命令（例如 status 或 list）时，我得到了异常： 我的 Hadoop 大师 JPS： 和两个节点 JPS： 我 ...

Hbase-client kerberos 身份验证仅在本地计算机上工作

[英]Hbase-client kerberos authentication working only on local computer

我开发了一个 spring 应用程序，它使用 hbase-client 2.1.1 通过 keytab 对 kerberized hbase 进行身份验证。 在我的本地计算机上，我可以成功进行身份验证并检索数据，但是当我将其部署到 Wildfly 服务器时，我收到以下错误： keytab 是一样的 ...