堆棧內存溢出
cost 289 ms
將 json 記錄從 dataframe 列寫入 Spark Streaming 中的 S3

[英]writing json record from dataframe column to S3 in spark streaming

我有一個以下面格式顯示的 drataframe，其中記錄為 json 數據（字符串格式）從 kafka 主題讀取 我只需要將 dataframe 中存在的 json 記錄寫入 S3。 有什么辦法可以解析記錄並將 json 轉換為 dataframe 並寫入 s3？ 或提供的任何其他解決方案將有所幫 ...

如何最好地從 Java UDF 返回變體數組

[英]How best to return a Variant Array from a Java UDF

我正在編寫一個 Java UDF function，我想返回一個變體數組。 看起來 Snowflake 支持返回各種 Java 原始類型和字符串的數組，但不支持變體。 文檔說 ARRAY 始終是 VARIANT 的數組，因此不支持這似乎很不尋常。 我最接近的是將 UDF function 返回類型指 ...

為什么我的 UDF 在查詢中使用它時會標記此錯誤，但在查詢之外使用時卻不會？

[英]Why does my UDF mark this error when I used it in a query but not when I used it outside of it?

我查詢了一個包含“Prof”列的查詢，它工作得很好，但是當我用相同的數據創建一個 UDF 時，它給了我這個錯誤不支持引用其他表的相關子查詢，除非它們可以去相關，例如通過將它們轉化為高效的 JOIN。 這是我用來調用 function 的查詢 UDF 是下一個： ...

在 Cosmos Db 中執行包含節點模塊的 UDF（用戶定義的 function）

[英]Executing UDF ( User Defined function ) containing a Node module in Cosmos Db

我創建了一個 UDF function 來處理基於 Azure cosmos 數據庫中日期的一些內容。 function 如下所示 當在查詢中使用上述 UDF 時，會拋出以下錯誤消息。 Encountered exception while executing Javascript. Excep ...

R function 將一天中的時間轉換為總分鍾數

[英]R function which converts the time of the day to the total minutes

我必須編寫自己的 R function “時間”，它將一天中的時間（在“hh:mm:ss”中）轉換為小時、分鍾或秒。 白天和希望的轉換時間（“h”，“m”，“s”）是一個參數/輸入。 例如，如果你想用 arguments "05:37:26", "m" 調用 function，結果應該是 337.4 ...

在 Snowpark UDF 中運行 sql 查詢（無法 pickle '_thread.lock'）

[英]running sql queries inside a Snowpark UDF (cannot pickle '_thread.lock')

我想創建一個返回單個值的 Snowflake Snowpark UDF。 但是，為了收斂到這個值，我想在 function 中運行 SQL 查詢並迭代結果行。 我的代碼看起來像這樣： 但是，在注冊后，Snowflake 會拋出一個TypeError ： TypeError: cannot pic ...

Azure Databrickd:- PythonException: 'RuntimeError: 標量迭代器 pandas UDF 中 output 的長度應與輸入相同；

[英]Azure Databrickd:- PythonException: 'RuntimeError: The length of output in Scalar iterator pandas UDF should be the same with the input's;

環境：Azure Databricks 集群：11.3 LTS（包括 Apache Spark 3.3.0、Scala 2.12） 我有pandas_udf ，它為 4 行工作，但我嘗試了 4 行以上的錯誤。 PythonException: 'RuntimeError: 標量迭代器 panda ...

如何在PySpark中創建這個function？

[英]How to create this function in PySpark?

我有一個大型數據框，包含 400 多列和 14000 多條記錄，我需要對其進行清理。 我已經定義了一個 python 代碼來執行此操作，但是由於我的數據集的大小，我需要使用 PySpark 來清理它。 但是，我對 PySpark 非常陌生，不知道如何在 PySpark 中創建 python fun ...

在 SQL 中使用用戶定義的 function 作為約束

[英]using user-defined function for constraint in SQL

我正在嘗試向 SQL 數據庫中的表添加檢查約束，以便用戶只能在“批准列表”-dbo.work_groups 中的列中輸入工作組。 我閱讀了一些論壇並創建了下表，用戶定義了 function 和約束。 dbo.work_groups 填充了工作組列表，即“Admin”、“Accountant”、“E ...

Bigquery udf case 語句強制不同的數據類型

[英]Bigquery udf case statement coerce different data types

當我們將數據注入 bigquery 時，我們將所有內容都作為字符串注入，無論源 API 數據類型如何。 因此，如果我想將列轉換回其正確的類型，那么我會寫類似cast(cast(col as float64) as int64)的內容。 我寧願只調用 function test_cast(col,'i ...

VBA UDF correlationmatrix - 不可能取平方根（在 Variant 類型上）

[英]VBA UDF correlationmatrix - not possible of taking square root (on Variant type)

我創建了一個 function，它將只返回平方答案，並且不可能得到正確的答案，即當前的平方根答案。 例如，在 excel 中，我的范圍是 A1 = 2 & A2 = 3。如果 CorrelationMatrix 設置在第一行 (1, 0.25) 和第二行 (0.25, 1)，則使用 Cor ...

無法在 ImageJ 中運行 function

[英]Can't run function in ImageJ

我是 imageJ 的初學者。 我想開始使用腳本工具，我開始編寫一個簡單的 function 如下所示，將已加載到 imageJ 中的圖像上的單個像素標記為白色 我將其保存為目錄“imageJ/macros”中名為“MarkPixel.ijm”的文件現在我運行 imageJ，打開圖像，啟動宏-&g ...

Simulink：我可以從工作區導入 1 xn 結構嗎？

[英]Simulink: can I import 1 x n struct from workspace?

我在基礎工作區中定義了一個結構（比如input ），為了避免大量重構，我想將它“從工作區”導入到 Simulink。 我將在 Matlab Function 塊中使用它。 根據我的發現（例如此處），我需要在基礎工作區中指定總線 object。 嘗試 1：（ 從這里） 現在，在 From Works ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM