堆棧內存溢出
cost 119 ms
MongoDB Hadoop PIG腳本引發“未定義參數：gte”異常

[英]MongoDB Hadoop PIG Script throws “Undefined Parameter :gte” Exception

我正在將數據從mongodb導入hdfs。 我目前正在使用PIG腳本加載數據。 我需要每3小時從mongodb獲取數據。 為此，我需要傳遞mongo.input.query參數。 但是我收到以下異常 以下是我的PIG腳本 沒有mongo.input.query的情況下，查 ...

使用 MongoDB Spark Connector 根據時間戳進行過濾

[英]Using MongoDB Spark Connector to filter based on timestamp

我正在使用Spark MongoDB 連接器從 mongodb 獲取數據。但是我無法獲得如何使用聚合管道（rdd.withPipeline）在 Mongo 上使用 Spark 進行查詢。以下是我想要根據時間戳獲取記錄的代碼& 存儲在 dataframe: 這是使用 spark 作為時間戳值查 ...

mongo-hadoop軟件包upsert與spark似乎不起作用

[英]mongo-hadoop package upsert with spark doesn't seem to be working

我試圖將MongoDB Connector for Hadoop與Spark一起使用，以查詢MongoDB中的一個集合，並將所有檢索到的文檔向上插入另一個集合中。 MongoUpdateWritable類用於RDD的值來更新MongoDB中的集合，並且具有upsert標志。 不幸的是，ups ...

Spark Mongo Hadoop 連接器未映射數據

[英]Spark Mongo Hadoop Connector not mapping data

我正在嘗試從 Spark 應用程序內的 mongodb-hadoop 連接器映射數據。 在此之前我沒有其他錯誤，所以我假設與 mongodb 的連接成功。 我使用以下代碼進行映射： 代碼失敗了： ...

與Spark結合使用的MongoHadoop Connector按分區數量重復結果

[英]MongoHadoop Connector used with Spark duplicates results by number of partitions

我正在嘗試使用mongo-hadoop連接器將數據讀入spark。 問題是，如果我嘗試設置有關讀取數據的限制，則在RDD中獲得限制*分區數。 對於其他限制，此行為是可復制的（我總是得到限制* 3）。 如果我嘗試簡單地通過objectId進行查詢，則會得到類似的行為（它創建一個具有 ...

Spark：Mongo-Hadoop如何查詢

[英]Spark: Mongo-Hadoop how to query

我正在嘗試使用Spark和經緯度坐標變化的mongo-hadoop在MongoDB上執行$ near查詢。 如何使用mongo-hadoop進行查詢？ 除了類似的東西： mongodbConfig.set("mongo.input.query", "{'field':'value' ...

mongo-hadoop。 不處理mongodb文件刪除

[英]mongo-hadoop. not to handle mongodb document deletion

我想同步mongodb和hadoop，但是當我從mongodb中刪除文檔時，這個文檔一定不能在hadoop中刪除。 我嘗試使用 mongo-hadoop 和 hive。 這是蜂巢查詢： 此查詢創建與相應 mongodb 集合同步的表。 通過這個查詢 mongo-hadoop 也處理文檔刪除。 ...

使用Apache Spark將MongoDB數據保存為鑲木地板文件格式

[英]Save MongoDB data to parquet file format using Apache Spark

我是Apache spark以及Scala編程語言的新手。 我想要實現的是從我的本地mongoDB數據庫中提取數據，然后使用Apache Spark和hadoop-connector將其保存為鑲木地板格式 到目前為止這是我的代碼： 問題是，為了將數據保存為鑲木地板文件格式，首 ...

在EMR上使用PIG MongoDB-Hadoop連接器，“錯誤6000，輸出位置驗證失敗”

[英]“ERROR 6000, Output location validation failed” using PIG MongoDB-Hadoop Connector on EMR

我在EMR的Pig腳本中收到“輸出位置驗證失敗”異常。 將數據保存回S3時失敗。 我使用以下簡單腳本縮小問題范圍： 這是產生的Stacktrace： 要設置MongoConnector，我使用了以下Bootstrap腳本： ...

帶有$ date的mongo.input.query不過濾輸入到hadoop

[英]mongo.input.query with $date not filtering input to hadoop

我有一個分片輸入集合，在將其發送到我的hadoop集群以進行地圖縮減計算之前，需要對其進行過濾。 我的$ hadoop jar中有此參數-命令 而且有效。 輸出不會映射減少不滿足此查詢的任何數據。 但是，這不起作用： 沒有數據作為輸出產生。 138862074 ...

Mongodb-Hadoop適配器

[英]Mongodb-Hadoop Adaptor

為了開始使用mongodb-hadoop適配器，我指的是手冊 我的系統上運行的當前hadoop版本是0.20.2。 所以我將build.sbt文件編輯為 hadoopRelease在ThisBuild中：=“ 0.20.2”。 但是，當我嘗試“ sbt軟件包”的下一個命令 ...

帶有MongoDB概念的Hadoop

[英]Hadoop with MongoDB Concept

嗨，我是Hadoop和NoSQL技術的新手。 我通過讀取存儲在HDFS中的文件並進行處理來開始使用世界計數程序進行學習。 現在，我想將Hadoop與MongoDB結合使用。 從這里開始程序。 現在讓我感到困惑的是，它在我的本地文件系統上存儲了mongodb數據，並以map / red ...

在Morphia的幫助下在Hadoop中使用MongoDB數據

[英]Using MongoDB data inside Hadoop with the help of Morphia

我一直在玩MongoInputFormat，它允許將MongoDB集合中的所有文檔通過以Hadoop編寫的MapReduce作業放置。 如您在提供的示例（ this ， this和this ）中所看到的，提供給映射器的文檔所處的類型是BSONObject （Java中的接口）。 現在 ...

使用Java-Hadoop連接器更新MongoDB中的現有集合

[英]Update an existing collection in MongoDB using Java-Hadoop connector

是否可以使用新數據更新現有的MongoDB集合。 我正在使用hadoop作業將寫入數據讀取到Mongo。 所需方案為：-說Mongo的第一個收藏是 從Mongo讀取數據並處理數據后，MongoDB應該包含 如果可能，請提供一些偽代碼。 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM