堆棧內存溢出
cost 124 ms
無法識別的 Hadoop 主要版本號

[英]Unrecognized Hadoop major version number

我正在嘗試在 Windows 10 上初始化一個 Apache Spark 實例以運行本地測試。 我的問題是在 Spark 實例初始化期間，我收到一條錯誤消息。 這段代碼以前對我有用過很多次，所以我猜依賴項或配置中可能發生了一些變化。 我正在使用 JDK 版本 1.8.0_192 運行，Hadoop ...

如何在命令行中獲取作業配置？

[英]How can I get job configuration in command line?

我開始使用這個yarn application -appStates RUNNING運行應用程序，然后我從列表中獲得一個applicationID 。 然后我可以通過以下方式獲取應用程序的狀態： yarn application -status 我想在命令行上獲取作業配置信息。 有可能的？ ...

Hadoop 中 teragen 創建的文件中的數據是如何構建的？

[英]How data is constructed in files created by teragen in Hadoop?

我試圖了解 terasort 的細節。 使用Hadoop 的teragen 后，我可以成功創建輸入數據文件。 網上很多文檔都說每一行包含的數據格式如下： 因此，我下載了第一個部分文件part-m-00000 ，然后使用以下命令從中刪除 rowid：cut -nb 11-20 part-m-0000 ...

為什么我得到 NoClassDefFoundError: org/apache/hadoop/fs/statistics/IOStatisticsSource

[英]Why I am getting NoClassDefFoundError: org/apache/hadoop/fs/statistics/IOStatisticsSource

我正在嘗試使用 .NET spark(3.0.1) 和 hadoop (3.2.2) 從 Azure Data Lake gen2（存儲帳戶）獲取數據。 我正在按照Microsoft 教程進行操作，但出現以下錯誤： java.lang.ClassNotFoundException：Class o ...

新數據節點不從現有 hadoop 集群傳輸數據

[英]New datanode not tranferring data from existing hadoop cluster

我遵循了 tutriolpoint 指南並完成了將新節點設置到現有 hadoop 集群的每一步。 但是我很難弄清楚為什么沒有傳輸數據。 我完成了檢查主機文件和與授權密鑰相關的文件，這些文件應該位於正常運行的從屬節點中。 數據節點已經包含有關與主節點連接的信息，但不會從主節點傳輸數據。 當我嘗試從新數 ...

如何配置Hive Cli自動獲取kerberos ticket並自行更新/請求新的如果過期

[英]How to configure Hive Cli to automatically get the kerberos ticket and renew/request new if expires by it own

您好，我是 Hive 和 kerberos 的新手。 我有一些 hive 的工作，這些工作的運行時間超過了票的生命周期。 我如何配置 hive 以便當我啟動 hive shell 如果未緩存票證，它會自動請求票證。 獲取票證后假設如果票證在中間過期然后自動獲取新的票證並且我可能有同一用戶同時運行的作 ...

在 Impala 中刪除列

[英]Drop column in Impala

我想在 Impala 中刪除整個“索引”列（列名和值）： 指數案例ID 客戶ID 1個一種 xxx56 我使用了這段代碼： 結果是這樣的： 案例ID 客戶ID 1個一種我該如何解決這個問題？ ...

我無法在 Hadoop 3.0.0-cdh6.3.2 上運行 haddop jar

[英]I cannot run a haddop jar on Hadoop 3.0.0-cdh6.3.2

我有一台安裝了 Hadoop 3.0.0-cdh6.3.2 的機器。 我跑了這個 並告訴我這個錯誤： 我設置 有了這個值 我沒有更改 yarn-site.xml（已設置 yarn.application.classpath 的值，但如果正確，我不會更改。yarn-site.xml 的值是： 請幫助 ...

Hadoop中Zookeeper的作用

[英]Role of Zookeeper in Hadoop

我根據幻燈片了解到，在 Hadoop 的上下文中，Zookeeper 用於存儲 Master 的信息，以及不同任務的狀態，哪個工作人員正在哪個分區上工作，並且可用的工作人員也存儲在 Zookeeper 中。 為什么這里使用 Zookeeper 來存儲這個元數據呢？ 可以使用任何數據存儲嗎？ 例如 C ...

HIVe/Hadoop/Spark SQL ACID 轉換 - 如何從 table_a 中刪除，其中 table_a.id = table_b.id

[英]HIve/Hadoop/Spark SQL ACID Transformations - How to Delete from table_a where table_a.id = table_b.id

SQL 新手嘗試使用 Hive 語法和 ACID 轉換執行刪除操作我有兩個增量文件，我已將其作為 Databricks 中的數據幀引入。 表_A 和表_B 這是失敗的原因： DELETE FROM Table_A WHERE Table_A.id = Table_B.id 這是我返回的錯誤Ana ...

直接使用 HDFS 中的數據訓練 ML model 的好策略

[英]Good strategy training a ML model directly using data from a HDFS

我想在計算節點上訓練一個 model，但使用來自存儲集群 (HDFS) 的數據（parquet 格式）。 而且我無法將整個數據集從 HDFS 復制粘貼到我的計算節點上。 什么是可行的解決方案（我使用 python）？ 我做了一些研究，似乎Petastorm是一個很有前途的解決方案。 但是，我看到另一 ...

hdfs 未找到基准 TestDFSIO

[英]hdfs benchmark TestDFSIO not found

我正在嘗試運行此命令hadoop jar hadoop-*test*.jar TestDFSIO -read -nrFiles 100 -fileSize 80MB -resFile /TestDFSIOwrite.txt但我得到zsh: no matches found: hadoop-*tes ...

使用 TDCH 將數據從 Teradata 導出到 HDFS

[英]Exporting data from Teradata to HDFS using TDCH

我正在嘗試使用 TDCH 將 Teradata 中的表導出到我的 hdfs 中的文件中。 我正在使用以下參數： 它工作正常，但我需要文件中的標頭，以及添加參數時： 它不起作用，我什至不再生成文件。 任何人都可以幫助我嗎？ ...

Sqoop 可以在 Oracle RDBMS 表上更新與 Hive 表具有不同列結構的記錄嗎

[英]Can Sqoop update record on Oracle RDBMS table that have different column structure with Hive table

我是一個 Hadoop 新人，試圖將數據從 Hive 導出到 Oracle。Sqoop 可以將數據更新到 Oracle 表嗎？ Oracle 表格有 A,B,C,D,E 列我將 Hive 表上的數據存儲為 B,C,E Sqoop 可以使用 B,C 作為更新密鑰導出更新（僅更新，而不是更新插入）並 ...

hadoop 從 hdfs 中現有的存檔文件中獲取文件

[英]hadoop get files from existing archived file in hdfs

我有一個包含 8 個文件的目錄“SmallFiles”，我使用“hadoop archive -archiveName myArch.har -p /Files/SmallFiles /Files”將它們存檔，然后刪除了原始文件。 我想知道如何再次提取文件？ 當我下載它時，我得到這 3 個文件“in ...

pyspark parquet writer保存的文件數

[英]Number of files saved by parquet writer in pyspark

pyspark 鑲木地板寫入生成多少個文件？ 我讀到 output 是 memory 分區中的一個文件。 然而，這似乎並不總是正確的。 我正在運行一個 6 執行器集群，每個執行器有 6G 執行器 memory。 所有 rest（pyspark、overhead、offheap）都是 2G 使用以下 ...

將Python中編寫的Machine Learning算法集成到Hadoop集群中

[英]Integrate Machine Learning algorithms written in Python into a Hadoop cluster

在創建一個向 Cassandra 數據庫提供數據的 Hadoop 集群之后，我想將一些我在 Python 中使用 SciKit-Learn 庫編碼的機器學習算法集成到 Hadoop 架構中，以便安排何時對存儲在中的數據運行這些算法Cassandra 自動。 有誰知道如何進行或任何可以幫助我的參考書目 ...

Flink FlatMapFunction 讀取文件的方法

[英]How to Read Files in Flink FlatMapFunction

我正在構建一個 Flink 管道，並且基於實時輸入數據需要從 RichFlatMapFunction 中的存檔文件中讀取記錄（例如，我每天都想讀取前一天和前一周的文件）。 我想知道最好的方法是什么？ 我可以直接使用 Hadoop API，這就是我接下來要嘗試的。 那將是這樣的：import org. ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM