配置Apache Drill讀取Mapr分布中的xml個文件

[英]Configure Apache Drill to read xml files in Mapr distribution

我有一個項目，我應該使用 Apache Drill 讀取 xml 文件來處理它，有人可以告訴我如何配置它嗎？ 注意：我使用 Mapr 分布我試圖將配置添加到配置用戶界面，但出現錯誤（參見圖片）在此輸入圖片描述提前致謝 ...

Map Reduce程序計算平均值和計數

[英]Map Reduce program to calculate the average and count

我正在嘗試使用 map 減少 python 程序來計算出租車及其行程。 在 Map 程序中，我編寫了以下代碼，它將為每一行分配一個鍵。 接下來在下面的減速器中是程序。 在這里，我收到錯誤消息 而且我無法正確調試，因為如果我包含打印語句，它不會在 output 中打印。 有人可以幫忙嗎 ...

hive tez mapr 分布查詢與 tez 引擎有問題

[英]hive tez mapr distribution query have issues with tez engine

在 tez 上查詢失敗，但在 MR 上查詢正常。 我們已經嘗試了許多不同的排列和組合 set... 參數但無法在 tez 中成功運行此查詢。 MR 中的查詢運行大約 20 分鍾，但 tez 引擎，我們看到查詢在集群中消耗了巨大的 memory，當這個查詢運行時，我看到集群上的 memory 使用率 ...

如何使用 Go 從 MapR 集群中讀取文件？

[英]How can I read files from a MapR cluster using Go?

我有一個 Go 應用程序在 Kubernetes 集群中運行，該集群需要從大型 MapR 集群中讀取文件。 這兩個集群是獨立的，Kubernetes 集群不允許我們使用 CSI 驅動程序。 我所能做的就是在 Kubernetes pod 內的 Docker 容器中運行用戶空間應用程序，並給我map ...

Hadoop 配置基於flag/env參數查詢的cluter

[英]Hadoop configure cluter queried based on a flag/env parameter

如果這是一個愚蠢的問題，請事先道歉，我是 hadoop 環境的新手。 我有兩個 hadoop 集群my-prod-cluster和my-bcp-cluster 。 兩者都可以通過同一網絡訪問。 有沒有辦法配置我的集群，當我處於 BCP 模式時，我對my-prod-cluster所有查詢都被路由到m ...

在 airflow docker 容器中以用戶身份從主機執行本地/主機命令

[英]Executing a local/host command as an user from the host as well, in an airflow docker container

我必須每天執行一些maprcli命令，並且maprcli命令需要使用特殊用戶執行。 maprcli 命令和用戶都在本地主機上。 要安排此任務，我需要使用 airflow，它進一步在 docker 容器中工作。 我在這里面臨兩個問題： maprcli 在 airflow docker 容器中不可用 ...

如何在 hive 中創建基於 linux/unix 組的權限？

[英]How to create linux/unix group based permission in hive?

我們在 hive 中有很多帶有表的數據庫，我們想根據 Linux/Unix 組授予用戶訪問權限，目前我們正在使用 hive 角色和用戶級別權限，但我們想切換到表和數據庫級別的 linux/unix 組允許。 我們怎么做？ ...

從 mapr 集群讀取放置在 wasb 存儲下的增量文件時出現問題

[英]Issue while reading delta file placed under wasb storage from mapr cluster

我正在嘗試使用運行在 mapr 集群中的 jupyter notebook 中的以下代碼從 azure 存儲中讀取增量格式文件。 當我運行這段代碼時，它拋出了 java.lang.NoSuchMethodException: org.apache.hadoop.fs.azure.NativeAzu ...

MAPR 性能屬性在集群中對大量數據沒有貢獻

[英]MAPR performance attributes are not contributing in the cluster for huge amount of data

我們在 HPE 數據結構數據庫 (MapR DB) 中面臨性能問題。 我們集群中對 MapR DB 的 GET Batch 調用數量很大（大約 70%），但調用的吞吐量非常差。 這些表是分布式的，但我們仍然看到這個問題。 在查看 HPE Data Fabric 文檔時，我們發現了這個配置 - mfs ...

core-default.xml 文件在哪里？

[英]where is core-default.xml file?

我對我的 mapr 集群中的fs.s3a.connection.ssl.enabled參數的值感興趣。 我知道該值是在 core-default.xml 中設置的（如果沒有被 core-site.xml 覆蓋），但我找不到 core-default.xml 文件。 有什么建議嗎？ 有沒有辦法檢查參 ...

如何在 MapR 中獲取默認配置屬性

[英]How to get default configuration properties in MapR

我正在嘗試從MapR Hadoop中找到默認屬性。 從HPE網站（MapR 現在歸 HPE 所有）了解了配置文件路徑。 但是這些文件只顯示了一些特定的屬性，而不是全部。 ...

如何找到 MapR 發行版

[英]How to find the MapR distribution version

客戶端在那里安裝了一些 MapR 發行版。 我想對它做一些分析。 所以我想找到 MapR 發行版的版本。 ...

如何僅獲取昨天的紗線完成/失敗工作列表

[英]How to get list of yarn finished/failed jobs of yesterday only

我嘗試使用以下命令 $ 紗線應用程序 -list -appState 已完成它給了我所有已完成工作的清單，但我的目的是最后完成昨天的工作。 此外，該列表未在詳細信息中提供日期。 然后我嘗試了 curl 命令 '''curl -k -X GET “http:rm:8088/cluster/apps?s ...

使用安全 MapR 集群設置 oozie 時面臨的問題

[英]Facing issue in setting up oozie with secure MapR cluster

我們在使用安全的 mapr 集群設置 oozie 服務時遇到了問題。 我們正在使用 MapR 安裝程序來設置 MapR 集群。 以下是我們遵循的配置和步驟。 MapR 版本 - 6.1 操作系統-Ubuntu 16.04 身份驗證 - Kerberos 節點 - 單節點我們使用安裝程序中的Enab ...

無法創建文件客戶端。 發現 java 和本機庫 java 構建版本不匹配

[英]Could not create File Client. Mismatch found for java and native libraries java build version

我正在嘗試使用 spring 引導應用程序遠程訪問映射器路徑。 我已將fs.mapr.bailout.on.library.mismatch屬性設置為 false，以避免版本不匹配的錯誤。 仍然每當getFileStatus() function 時，應用程序都會停止並出現以下錯誤： 代碼： 使用的 ...

帶有 mapr 客戶端的節點是否需要訪問我想用 distcp 復制的文件？

[英]Does node with mapr client need to have an access to the files I want to copy with distcp?

情況： 節點 0：安裝了 mapr 客戶端，不是集群的一部分，沒有安裝外部資源節點 1 到 10：安裝了 mapr NodeManager 的 mapr 集群節點。 每個節點都在 /mnt/resource/ 下掛載了外部資源 如果我在 1 到 10 的任何節點上執行此代碼 - 它有效： hadoo ...

如何使用 Python 檢查 MapR 卷是否存在？

[英]How to check if a MapR volume exists with Python?

我正在努力處理 MapR 卷......我正在嘗試擴展一個也有文件夾的卷結構。 換句話說，我想檢查卷路徑是否存在，如果不創建它，但我不知道如何進行檢查。 我對 MapR 和卷不太熟悉。 ...

如果從多個 MapR 位置讀取數據，spark shuffle 如何工作？

[英]How spark shuffle works if reading data from multiple MapR locations?

我的 MapR 集群中有 2 個位置，我的 spark 作業正在從這 2 個端點加載數據。 其中一個端點具有大量數據，而其他端點則相對較少。 現在，當我執行.reduceByKey或.groupByKey類的 shuffle 操作時，會出現 OOM 異常： 現在，如果我將數據從 1 個位置復制到 ...

Java 版本與 Protobuf 沖突

[英]Java Version Conflct with Protobuf

我正在創建一個 GRPC 端點，它將接受數據並將數據傳遞到 MapR Streams（Kafka 端口）。 我已經創建了 GPRC 端點，並且在將數據轉儲到控制台時工作正常。 當我添加代碼以將消息推送到 MapR/Kafka 時，它編譯得很好，但是當我運行它時，我得到一個與 protobuf 庫版本 ...

MapR 5.2.2 客戶端

[英]MapR 5.2.2 clients

我有一項任務需要我創建一個 Go 程序以從 HBASE 表中讀取。 HBASE 安裝在 MapR 集群中。 每個其他應用程序 (Java) 都使用 MapR 客戶端連接到 MapR 集群以檢索數據。 但是，我無法找到使用 Go 應用程序連接到 HBASE 的方法。 我找到了 HBASE packa ...