標簽[snappydata] - 堆棧內存溢出

[英]PySpark Structured Streaming Query - query in dashbord visibility

我編寫了一些示例代碼連接到 kafka 代理，從主題讀取數據並將其接收到 snappydata 表。我用命令提交一切正常，從 Kafka Topic 讀取數據並寫入 snappydata 表。我不明白為什么我在 SnappyData 儀表板 UI 中看不到這個流式查詢 - 在控制台中提交 py ...

如何從 Python 查詢遠程 snappydata 服務器

[英]How to query a remote snappydata server from Python

我正在嘗試從 Python 查詢 snappydata，並且 StackOverflow 中的一些答案說 Python 無法連接到遠程火花集群。誰能幫助我如何連接到 snappydata 集群並獲得一個簡單的查詢？我正在嘗試的代碼 - 我收到 FileNotFoundError: [WinErr ...

使用 aws 外部 IP 地址連接到 snappy 數據

[英]Connect to snappy data with aws external IP address

我正在使用 Tibco ComputeDB，這對我來說是新的。它使用 sparkDB 和 snappyData。我可以啟動 Spark 和 SnappyData 並使用命令connect client '127.0.0.1:1527'或使用 aws 服務器的內部 IP 連接到 snappydat ...

將數據從 MS SQL 表加載到 snappyData

[英]Load data from MS SQL table to snappyData

我正在使用 Tibco ComputeDB，這對我來說是新的。它使用 sparkDB 和 snappyData。我想將來自 MS SQL 的數據添加到 snappyData 的內存表中。我可以從 CSV 讀取數據並使用以下命令將其加載到 snappyDaya 中。 => 如果不存在 ...

在Snappydata中創建20-30個表后獲取com.gemstone.gemfire.cache.LockTimeoutException

[英]Getting com.gemstone.gemfire.cache.LockTimeoutException after creating 20-30 tables in Snappydata

Spark作業從hbase獲取數據，並將數據攝取到snappydata 1.1.0。與Snappydata 1.1.0打包在一起的Spark作為獨立集群啟動（snappy和spark共享集群），並且作業通過spark restAPI提交給Spark。 Snappydata 1.1.0群 ...

如何提交python SnappyData作業

[英]How to submit a python SnappyData job

SnappyData文檔（docs / programming_guide / using_the_spark_shell_and_spark-submit.md）顯示可以向Spark（主默認端口7077）提交可以使用SnappyData表的python程序： $ ./bin/spar ...

本機快照庫不可用

[英]Native snappy library not available

我正在嘗試在scala使用spark對某些數據幀進行大量聯接。當我嘗試獲取此處生成的最終數據幀的計數時，出現以下異常。我正在使用spark-shell運行代碼。在啟動spark-shell時，我嘗試了以下配置參數。但是他們都不起作用。我在這里想念什么嗎？： ...

無法啟動SnappyData Server：嘗試連接到分布式系統超時

[英]Failed to start SnappyData Server: Attempt to connect to distributed system timed out

我正在嘗試在具有1個定位器，1個線索和3個數據服務器的多個節點上設置SnappyData集群。集群配置：conf / locators： CONF /線索： CONF /服務器：我正在使用./sbin/snappy-start-all.sh啟動集群。定位器和 ...

為什么我的SnappyData集群每天大約遇到一次緩慢的查詢

[英]Why my SnappyData cluster faced with slow query about once a day

當我的集群運行了一定時間（可能一天，兩天）時，某些查詢可能會變得非常緩慢，大約需要2到10分鍾才能完成，這種情況下，我需要重新啟動整個集群，查詢才能正常進行，但是一段時間后，再次出現非常慢的查詢 ...

在快照工作中隨機獲取java.lang.ClassCastException

[英]Randomly getting java.lang.ClassCastException in snappy job

用Scala編寫的快照作業會異常中止：java.lang.ClassCastException：com ..... $ Class1無法轉換為com ..... $ Class1。 Class1是存儲在RDD中的自定義類。有趣的是，在投射相同的類時會拋出此錯誤。到目前為止，尚未找到 ...

SnappyData可以從s3加載並保存到s3嗎？

[英]Can SnappyData load from s3 and save into s3?

我最近找到了SnappyData的網站。我對SparkSQL查詢性能感興趣。是否有人嘗試使用SnappyData加載s3並保存s3操作？我找不到這樣的文件。我想使用pyspark，並指定“ com.databricks.spark.csv”格式和各種選項。 ...

由於內存不足，取消了snappydata作業

[英]snappydata job cancelled due to low memory

由於成員'{1}'上的內存不足，我取消了XCL54.T查詢/ DML / DDL'{0}'。嘗試通過向where子句添加更多過濾條件來減少搜索空間。通過將tempview數據框與分區的，基於列的snappydata表聯接在一起，在Zeppelin中創建數據框時出現查詢錯誤。此鏈接 ...

從java中的csv將數據導入快照數據時出錯

[英]getting error while importing data into snappy data from csv in java

我在scala中的表架構是 snSession.sql（“ create table category_subscriber（id int，catId int，brandId int，domains int，osId int，rType int，rTime int，ctId int，icm ...

我可以在活潑的數據中加入三個表嗎

[英]Can i join three tables in snappy data

我需要在類別和訂戶表上執行共代聯接而且我還需要對類別執行colocate連接，並且喜歡表可以將colocate_with選項定義為多個表 ...

通過Snappy數據中的Java通過JSON對象插入時出錯

[英]getting error while json object insertion through java in snappy data

我有一個表，其中包含json對象和數組作為兩個字段的數據類型。我在Java中的代碼是執行此時收到此錯誤所以我通過添加這個將json對象更改為blob類型但是當我通過從快照數據庫檢索時從subscriber_new11限制10中選擇技能；出現 ...

如何使用Java將巨大的數組數據加載到snappydata中？

[英]How to load huge array data into snappydata using java?

我正在使用snappydata數據庫，在這樣插入的表中有數組數據如何使用Java將巨大的數組數據加載到snappydata中？我試過了 PreparedStatement s2 = snappy.prepareStatement（“插入APP.test（id，likes） ...

SnappyData作業API

[英]SnappyData Job API

我們通過擴展SnappySqlJob並覆蓋runSnappyJob和isValidJob來創建作業。在runSnappyJob中，我們創建與Kafka的連接，以每1秒輪詢一次來自Kafka的消息。使用以下命令終止作業后：我們在日志中看到Kafka仍在輪詢數據。是 ...

如何在snappaydata中檢索存儲的數組數據？

[英]How to retrieve stored array data in snappaydata?

我在snappydata中有示例數組數據。使用此查詢插入的數據：如何檢索此存儲的數組數據？我嘗試了這個：嘗試了很多查詢，但這些查詢對我不起作用。 ...

請求內容長度265529745超過配置的限制31457280

[英]Request Content-Length 265529745 exceeds the configured limit of 31457280

我正在嘗試從URL https://github.com/SnappyDataInc/snappy-poc獲取snappydata的流式傳輸示例當我使用命令提交作業時 ./bin/snappy-job.sh提交--lead localhost：8090 --app-name A ...

使用YARN管理SnappyData集群

[英]Managing SnappyData cluster with YARN

是否可以使用YARN管理SnappyData集群。要求是將快照數據集群容器化，以便可以由YARN管理它。 ...