Spark HBase/BigTable - 宽/稀疏 dataframe 持久性
[英]Spark HBase/BigTable - Wide/sparse dataframe persistence
我想坚持 BigTable 一个非常广泛的 Spark Dataframe（>100,000 列），它是稀疏填充的（>99% 的值是空的），同时只保留非空值（以避免存储成本）。 有没有办法在 Spark 中指定在写入时忽略空值？ 谢谢 ！ ...
Spark - 宽/稀疏 dataframe 持久性
[英]Spark - Wide/sparse dataframe persistence
我想保留一个非常广泛的 Spark Dataframe （>100'000 列），它是稀疏填充的（>99% 的值是空的），同时只保留非空值（以避免存储成本）： 这种用例（HBase、Avro、Parquet、...）的最佳格式是什么？ 写入时应该指定什么 Spark 端忽略空值？ 请注意 ...
如何返回 Stream 并关闭下划线源？
[英]How to return a Stream and close the underline source?
这是背景。 我有一个操作可能会从 hbase 扫描很多行。 因为行数可能很大，我想返回一个 Stream 行。 问题是：如何关闭 ResultScanner？ 像这样的方法 显然，我无法在此方法中关闭 ResultScanner。 有什么优雅的方法吗？ ...
hbase表顶部的凤凰视图问题
[英]phoenix view issue on top of hbase table
我正在使用 Hbase 版本 2.0.2 和 phoenix V5.0.0。 我有一个 HBase 表，我们使用以下步骤创建了 Phoenix 视图 然后我在 HBase 表的顶部创建了一个凤凰视图。 从凤凰视图中选择数据时，出现以下错误。 ...
Zeppelin hbase 解释器安装无法解决依赖关系
[英]Zeppelin hbase interpreter installation fails to resolve dependencies
我正在尝试在集群上安装 hbase 1.1.4 的 zeppelin 解释器。 我尝试了 hbase 的基本解释器安装命令： 我收到了这个错误信息： 我试图了解导致依赖关系解析失败的原因。 请注意，集群位于公司代理之后。 根据 文档： 默认情况下，Zeppelin 是针对 HBase 1.0.x 版 ...
Spark-HBase - GCP 模板 (3/3) - 缺少库？
[英]Spark-HBase - GCP template (3/3) - Missing libraries?
我正在尝试在 GCP 上下文中测试 Spark-HBase 连接器并尝试按照说明进行操作，该说明要求在本地 package连接器，并且在Dataproc上提交作业时出现以下错误（完成这些步骤后）。 命令 错误线程“主”中的异常 java.lang.NoClassDefFoundError: org ...
Spark-HBase - GCP 模板 (2/3) - json4s 的版本问题？
[英]Spark-HBase - GCP template (2/3) - Version issue of json4s?
我正在尝试在GCP上下文中测试SPARK-HBase连接器，并尝试遵循1个，该连接要求使用Z9115C10980645C413F2444AC1AMAPRE INDRON [2] ZEFE90A8E60E60EE60EE88D03A67F6B7D8Z [2] the Connector [2]在Da ...
HBASE 错误：无法识别的 VM 选项“UseConcMarkSweepGC”
[英]HBASE error : Unrecognized VM option 'UseConcMarkSweepGC'
我的笔记本电脑上有 jdk-15.0.1，并安装了 HBASE（hbase-2.2.6 版本）。 我按照每个步骤在此链接上安装 HBASE： https://www.learntospark.com/2020/08/setup-hbase-in-windows.html 问题是当我尝试在命令行中运 ...
Spark-HBase - GCP 模板 (1/3) - 如何在本地 package Hortonworks 连接器？
[英]Spark-HBase - GCP template (1/3) - How to locally package the Hortonworks connector?
I'm trying to test the Spark-HBase connector in the GCP context and tried to follow [1], which asks to locally package the connector [2] using Maven ...
将 HBase 表数据保存在特定的 HDFS 位置
[英]Saving HBase table data in a particular HDFS location
在 Hive 表上，我可以创建将数据保存在特定 HDFS 位置的外部表。 我想在 HBase 上做类似的事情，因此 HBase 表数据可以保存在外部 HDFS 位置。 是否可以在类似于 Hive 的 HBase 上执行此操作？ 我想知道 HBase 表数据保存到的 HDFS 上的默认路径是什么？ 谢 ...
无法创建文件客户端。 发现 java 和本机库 java 构建版本不匹配
[英]Could not create File Client. Mismatch found for java and native libraries java build version
我正在尝试使用 spring 引导应用程序远程访问映射器路径。 我已将fs.mapr.bailout.on.library.mismatch属性设置为 false，以避免版本不匹配的错误。 仍然每当getFileStatus() function 时，应用程序都会停止并出现以下错误： 代码： 使用的 ...
如何计算 HBASE 中的 Memstores、WAL 和块缓存？
[英]How to calculate the Memstores, WAL & Block Cache in HBASE?
假设在 HBase 中我们有 3 个 Region 服务器、3 个 Region 和 2 个列族。可能有多少 Memstore、Block Cache 和 WAL ...
重新启动 HBase 时是否会丢弃 HBase 块缓存？
[英]Is HBase block cache dropped when restart HBase?
我目前对 HBase 块缓存感到困惑。 我已经意识到 HBase 块缓存的存在，它是为了读取性能。 问题是，如果我通过命令停止 HBase， stop-hbase.sh 并通过命令重启HBase， start-hbase.sh 它会导致丢弃HBase的所有块缓存并且块缓存变空吗？ 谢谢大家提前。 ...
是否可以将 HDFS 存储类型/策略与 HBase 一起使用？
[英]Is it possible to use HDFS storage types/policies together with HBase?
HDFS 有一个称为存储类型/策略的功能 - 它可以将文件存储在具有不同属性（快速 SSD 或缓慢但便宜的存档存储）的存储中。 我想知道是否可以通过 HBase 使用此功能？ 我的用例是我有一些“热”的数据，预计会经常访问，所以我想把它放在“热”（SSD）存储中，而一些数据是“冷”的，不经常访问 ...
运行 Apache Phoenix 命令时出现 Python 兼容性问题
[英]Python compatibility issue while running Apache Phoenix command
我成功安装了 Hadoop、Pig、Hive、HBase 和 Zookeeper。 我安装了 Apache Phoenix 来访问 HBase。 以下是我的 PATH 变量。 I copied phoenix-4.15.0-HBase-1.4-client.jar, phoenix-4.15.0- ...
如何加载分区到 Hbase 表的 hive orc
[英]How to load hive orc partitioned to Hbase table
我完全开始使用 hbase 数据存储，我们目前正在使用 orc 文件格式迁移 hive 外部文件系统。 过去 2 年的数据需要移动到 hbase 表，我看到很少有批量加载方法 hcatalog 和 pig 使用但不是 orc 文件格式。 你能帮我解决这个问题或给我一些建议吗？ 这里我也提到了 hiv ...
HBase Java API 不会响应
[英]HBase Java API won't respond
我目前正在尝试使用 HBase Java API。 我遇到了一个找不到任何解决方案的问题。 Everthing 将一直运行，直到程序到达admin.tableExists行，然后它就会冻结并且什么也不做。 当它碰到table.get行时，同样的事情发生在代码的table.get部分中。 我很 ...
为什么我们需要在 Hbase 中使用列族？
[英]Why do we need column families in Hbase?
有列族的原因是什么？ 例子： 场景一： 场景二： 场景一，虽然一个表可以有很多列族，但是所有的列族都是分开存放的。 那为什么会有列族本身的概念呢？ 为什么不能有简单的场景 2？ 同样在场景 2 中，我不会阻止 HBase 提供的任何功能。 您仍然可以稍后添加动态列（和其他功能）。 我唯一 ...
本地测试 Spark Sql 查询
[英]Test Spark Sql Queries Local
最近我在一个 Spark 应用程序中工作，作为项目的一部分，从 HBase 服务器读取数据集，Spark sql 修改读取的数据并保存到 Kafka。 我面临的问题是我无法在本地测试 spark.sql。 每次我必须提交应用程序jar并在服务器中运行。 在 Sql 中，我们有工具来测试本地环境中的 ...
Phoenix/HBase 在 Windows 上抛出 NoSuchMethodError: sun.misc.Unsafe.putLong
[英]Phoenix/HBase throws NoSuchMethodError: sun.misc.Unsafe.putLong on Windows
我们的产品使用 Phoenix JDBC 驱动程序连接 HBase，它在 Linux 上运行良好。 我想在 Windows 上运行它，但连接失败。 我尝试从 IntelliJ Idea 的数据库进行连接，但由于相同的错误而失败。 我曾经在 Idea 中连接到另一个 HBase 安装，该安装在 7 ...