堆棧內存溢出
cost 330 ms
使用屬性文件向 Google Dataproc 提交 Pig 作業時出錯

[英]Error in submitting a pig job to Google Dataproc with properties file

我是 Dataproc 的新手，正在嘗試通過 gcloud 向 google dataproc 提交一份 Pig 作業 具有以下屬性文件 下面是上傳到 GCS 的 pig 腳本示例 低於錯誤 也嘗試了大多數使用控制台的方法，但沒有得到好的文檔。 查詢參數字段（指定要插入的參數名稱和值以代替查詢文件中 ...

是否可以為 PIG_HEAPSIZE 設置豬 / hadoop 屬性？

[英]Is there a pig / hadoop property that can be set for PIG_HEAPSIZE?

spark、hadoop、tez等都有可以手動配置的屬性列表。 例子： yarn.nodemanager.resource.memory-mb 或者 spark.executor.memory 或者 pig.exec.reducers.bytes.per.reducer, pig.exec.r ...

錯誤 org.apache.pig.tools.grunt.Grunt - 錯誤 2998：未處理的內部錯誤。 org/python/google/common/collect/列表

[英]ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2998: Unhandled internal error. org/python/google/common/collect/Lists

我剛剛開始使用 Pig，在運行我的第一個程序時遇到了很多問題。 任何幫助深表感謝。 我試過用這些解決： 錯誤 org.apache.pig.tools.grunt.Grunt - 錯誤 2998：未處理的內部錯誤。 org/apache/hadoop/hbase/filter/WritableB ...

在 Pig 中合並多個文件

[英]Merging multiple files in Pig

我有幾個文件（大約 10 個文件）我想在 Pig 中合並在一起： 我知道我可以通過以下方式將兩個數據集合並在一起： 有什么方法可以遍歷循環以將數據集從 Student01 合並到 Student10？ ...

2022-07-06 19:13:23   1   21    apache-pig  
編寫一個豬序列語句，計算評分記錄的數量和按性別划分的平均評分

[英]Write a pig sequence of statements to calculate the number of ratings records and the average rating score by gender

這就是我到目前為止所做的。 我得到的錯誤： 輸入：無法從“hdfs://localhost:9000/mike/users.txt”讀取數據 無法從“hdfs://localhost:9000/mike/movies/data.txt”讀取數據 localhost:9000 告訴我這個：看起來您正在 ...

PIG mapreduce 輸出和 HIVE

[英]PIG mapreduce output and HIVE

我有一個名為 test.txt 的文件，其記錄如下（忽略點）： （制表符作為字段分隔符） 我的豬腳本（test.pig）： 我運行腳本： pig -x mapreduce test.pig 輸出： 而且內容只有： Q1- 其他領域發生了什么？ Q2-為什么制表符沒有被“， ...

Apache Pig 的工資總額

[英]Sum of Salary in Apache Pig

為可用文件 emp1.csv 和 dept.csv 創建員工和部門表。 Colnames: Emp: Empno, name, sal, did, branch, dno Dept: deptno, name, loc 檢索要為在“芝加哥”工作的員工支付的總工資。 emp 的桌子 ...

如何執行 pig 腳本並將結果保存在另一個文件中？

[英]How to execute pig script and save the result in another file?

我有一個“solution.pig”文件，其中包含所有加載、連接和轉儲查詢。 我需要通過在 grunt> 中鍵入“solution.pig”來運行它們並將所有結果保存在其他文件中。 我怎樣才能做到這一點？ ...

2022-05-28 11:00:38   1   14    apache-pig  
Apache 豬：計算“字符”的頻率

[英]Apache Pig : Counting frequencies of "character"

假設有一個名為 abalone_data 的文本文件，具有 3 個屬性：名稱、性別和長度 M 是男性，F 是女性，I 是嬰兒。 問題是如何統計每種性別的鮑魚數量。 所需的 output 應如下所示 我使用 LOAD 語法加載文件，然后使用 TOKENIZE 僅獲取性別。 但是我一直在數字符。 ...

錯誤 1070 Pig Could not resolve PigSorage using imports：

[英]Error 1070 Pig Could not resolve PigSorage using imports:

我正在嘗試用 pig 讀取文件，但出現標題中指示的錯誤。 data = LOAD '/user/cloudera/pigexample/commands' 使用 PigSorage('\n') as (command:chararray); 轉儲數據； 該文件包含以下內容： 我不明白為什么我會收 ...

將 chararray 轉換為浮點數

[英]Convert chararray to float

我是豬編程的新手。 我有一個 txt 文件和逗號 (,) 作為分隔符。 在金額列中，即； amt_IN 和 amy_OUT 是 chararray 類型，數據分別為 $830.03 和 $1392.54。 我需要 INR 中的這兩列。 我首先從字符串中刪除 $ 符號，然后嘗試將其轉換為浮點數。 以 ...

是否可以使用 Pig/Tableau 或 HDFS 中的其他工具使用/查詢數據，這些工具是使用 HIVE 托管表插入/加載的？

[英]Is it possible to use/query data using Pig/Tableau or some-other tool from HDFS which was inserted/loaded using a HIVE Managed table?

是否可以使用 Pig、Drill 或 Tableau 或 HDFS 中的其他工具使用或查詢數據，這些工具是使用 HIVE 托管表插入/加載的； 還是僅適用於使用 HIVE 外部表插入/加載的 HDFS 中的數據？ 編輯 1：與托管 Hive 表關聯的數據是否鎖定到 Hive？ ...

基於 SUBSTRING 匹配的 HIVE/PIG JOIN

[英]HIVE/PIG JOIN Based on SUBSTRING match

我有一個要求，我需要加入一個包含人名的推文表，例如過濾包含任何人名的推文。 我有以下數據： Tweets 表： （7000 萬條記錄存儲為 HIVE 表） ID 鳴叫 1 歷史上最偉大的克里斯蒂亞諾·羅納爾多 2 布拉德皮特電影 3 沒有任何人名的隨機推文人名： （160 萬個名字存儲在 HD ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM