將 jar 驅動程序添加到 emr-6.7.0 spark

[英]adding jar driver to emr-6.7.0 spark

我正在嘗試從 emr 集群連接到 aws redis 集群，我將 jar 驅動程序上傳到 s3 並使用此引導操作將 Z68995FCBF432492D15484D04A9D2AC4 文件復制到集群節點： 這是我的連接測試火花應用程序： 使用此 spark-submit 運行應用程序時： 我收到以下 ...

Redis 將空值返回到 id 列

[英]Redis return null value to id column

我正在向 redis 編寫一個數據幀並使用 spring boot 應用程序讀取數據。 信息重試成功，但 id 列返回 null 如下： {“nu_document”：null，“qt_negative”：“1000000000”} ...

spark-redis 異常：引起：redis.clients.jedis.exceptions.JedisConnectionException：java.net.SocketTimeoutException：讀取超時

[英]spark-redis exception: Caused by: redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out

我正在嘗試通過 spark 將數據插入 redis（用於 Redis 的 Azure 緩存）。 大約有 7 億行，我正在使用spark-redis連接器插入數據。 它在拋出此錯誤后失敗。 我能夠插入一些行，但一段時間后，一些任務開始失敗並出現以下錯誤。 我正在瀏覽 jupyter notebook。 ...

如何在數據塊中為 redis 連接設置 jar 配置

[英]How to setup jar configs in databricks for redis connections

我在 databricks "com.redislabs:spark-redis_2.12:2.5.0"中安裝了以下 jar 。 並嘗試使用各自的身份驗證創建火花 session 下面是我用憑據創建火花 session 的代碼 但是當我嘗試使用以下代碼保存它時 這會引發以下錯誤。 這顯然意味着連接到 ...

使用 pyspark 從 redis 讀取特定密鑰

[英]Read specific key from redis using pyspark

我正在嘗試使用 pyspark 從 Redis 讀取特定密鑰。 根據文檔，我沒有找到任何特定的命令來讀取特定的密鑰。 使用下面的代碼，我可以從 Redis 讀取所有數據： 請建議 ...

使用Java讀取spark redis保存的數據

[英]Read data saved by spark redis using Java

我使用spark-redis將數據集保存到 Redis。然后我使用Spring 數據 redis讀取此數據： 這個object我保存到redis： 使用 spark-redis 保存 object： 存儲庫： 我無法通過使用8818215151203188數據Redis保存在883135569688 ...

如何在 Pycharm 中將 jar 添加到 Spark

[英]How to add jar to Spark in Pycharm

我想在 PyCharm 中調試 Spark 代碼，因為它更容易調試。 但是我需要添加一個spark-redis.jar否則Failed to find data source: redis 連接redis的代碼是 如果使用 PyCharm 如何修復它？ 我曾嘗試在$SPARK_HOME/co ...

如何使用Spark-Redis在Spark中讀取Redis映射

[英]How to read redis map in spark using spark-redis

我在Redis中有一個普通的Scala映射（鍵和值）。 現在，我想在我的一個火花流程序中讀取該映射，並將其用作廣播變量，以便我的從屬可以使用該映射來解析鍵映射。 我正在使用spark-redis 2.3.1庫，但是現在確定如何讀取它。 在Redis表“員工”中映射- 這就是我試 ...

Spark-Redis：數據框寫入時間太慢

[英]Spark-redis: dataframe writing times too slow

我是Apache Spark / Redis的用戶，最近我為一個項目嘗試了spark-redis 。 該程序正在生成大約300萬行的PySpark數據幀，我正在使用以下命令將其寫入Redis數據庫中 如GitHub項目數據框架頁所建議。 但是，對於相同的Spark集群配置（相同數 ...

如何在Spark Streaming中使用Redis

[英]How to use redis in Spark Streaming

我正在構建一個應用程序，該應用程序從redis中的列表中讀取json元素，並使用spark流式傳輸它們。 這是我寫的： 如何使用jssc對象訪問redis。 提前致謝。 ...

如何將redis轉換為spark數據集或數據框？

[英]How to turn redis into spark dataset or dataframe?

我正在嘗試使用redis作為spark sql的源代碼，但是仍然堅持如何轉換rdd。 以下是我的代碼： 我得到以下異常： 我不知道接下來該做什么，請幫忙！ ...