您如何編寫 presto 查詢以將字符串拆分為自己的列

[英]How do you write a presto query to split a string into its own column

嘗試使用 presto 查詢將字符串拆分為 qubole 中的多個列。 {"field0":[{"startdate":"2022-07-13","lastnightdate":"2022-07-16","adultguests":5,"childguests":0,"pets":null}]} ...

快速旋轉數據

[英]Presto Pivoting Data

我是 Presto 的新手，在其中旋轉數據時遇到問題。 我使用的方法如下： 這很好，但是，也為行填充了 null 值，我想 pivot 數據，只返回包含相關信息的一行。 我試過使用 array_agg function，它會折疊數據，但它也會保留 null 值（例如，它會為第一列返回null,30 ...

需要 regexp_extract 幫助，初學者

[英]need regexp_extract help, beginner

我有字符串列“49b8b35e-b62c-4a42-9d73-192d131d127a,03c8a7e0-5153-11ec-873a-0242ac11000a,eec8aee4-0500-4940-b319-15924cc2d248” 此字符串列有 3 個值，由“，”分隔。 （值 1，值 2，值 ...

Qubole中的數據比較

[英]Data comparisons in Qubole

I am very new to Qubole.We recently migrated Oracle ebiz data to Saleforce.We have both Ebiz and Salesforce data in the Qubole Data Lake.There are so ...

插入覆蓋不會刪除所有舊數據文件

[英]Insert overwrite doesn't delete all the old data files

我們正在嘗試插入覆蓋 hive 表。 大多數時候它會按預期覆蓋，即刪除任何舊文件並替換新文件。 我們看到此行為存在一些不一致之處，有時所有舊文件都不會被刪除，但會創建新文件。 這導致數據不一致。 我無法重現此行為。 只是想知道是否有人遇到過類似的問題或對可能發生的事情有任何指示。 我們使用的是 hi ...

使用結構檢索數組中的值

[英]Retrieve value in an array of an array with struct

我在 Hive 表中有一個列，其類型為： 以下是列中的數據示例： 如何將每個“類型”查詢到一列？ 利潤網全部的 ...

如何安全地將參數插入 SQL 查詢並獲取結果查詢？

[英]How to safely insert parameters into a SQL query and get the resulting query?

我必須使用不符合 DBAPI 的庫來與數據庫交互（用於qds_sdk的 qds_sdk）。 此庫僅允許發送不帶參數的原始 SQL 查詢。 因此，我想要一種 SQL 防注入方式將參數插入查詢並在 Python 中獲取結果格式化查詢。 類似於下面示例中的format_sql function ：sql ...

排除 Qubole 中具有特定值的記錄

[英]Exclude records with certain values in Qubole

使用 Qubole 我有 表 A（解析 json 中的列...） 我只需要選擇具有推薦良好但決策不良的 ID。 因此輸出應該是3。 我試過 ： ...

如何將 UiPath 連接到 Qubole Hive 集群並運行查詢

[英]How to connect UiPath to Qubole Hive cluster and run a query

我公司中使用 RPA 的團隊之一想要自動化在 Qubole - Hive 環境中運行的報告。 最初的方法是讓機器人登錄 Okta，然后登錄 Qubole 中的 Workbench，運行查詢並下載結果。 使用您知道的 UiPath Studio 是否有更直接的方法？ ...

Qubole中如何獲取Python將CSV和TXT文件保存到Azure數據湖？

[英]How to get Python in Qubole to save CSV and TXT files to Azure data lake?

我將 Qubole 連接到 Azure 數據湖，我可以啟動一個 spark 集群，並在其上運行 PySpark。 但是，我無法保存任何本機 Python output，例如文本文件或 CSV。 除了 Spark SQL DataFrames，我無法保存任何其他內容。 我應該怎么做才能解決這個問題？ ...

hive 和 hive-llap 之間的結果集不一致

[英]Result-set inconsistency between hive and hive-llap

我們在 HDI 4.0 上使用 Hive 3.1.x 集群，其中 1 是 LLAP，另一個是 HIVE。 我們在兩個集群上創建了一個托管表，行數為272409 。 在兩個集群上合並之前 Based on the delta, we'd perform a merge operation (which ...

在 QDS 上運行命令時如何更改超時值

[英]How to change the timeout value when running commands on QDS

我有一個調用我的 python 腳本的 spark-submit 命令。 代碼運行超過 36 小時，但是由於 36 小時的 QDS 超時限制，我的命令在 36 小時后被終止。 有人可以幫我如何將此參數值更改為設置為 50 小時嗎？ 這就是我在 QDS 中調用腳本的方式 /usr/lib/spark/ ...

Qubole 上的日志記錄和調試

[英]Logging and Debuging on Qubole

如何從 Qubole 上的 spark 登錄 Qubole/訪問日志？ 我的設置： java 庫（JAR） Zeppelin Notebook (Scala)，只需調用庫中的方法 Spark、Yarn 集群庫中使用的Log4j2（配置登錄stdout） 如何從 log4j2 記錄器訪問我的日志？ ...

Spark Structured Streaming 使用 spark-acid writeStream（帶檢查點）拋出 org.apache.hadoop.fs.FileAlreadyExistsException

[英]Spark Structured Streaming using spark-acid writeStream (with checkpoint) throwing org.apache.hadoop.fs.FileAlreadyExistsException

在我們的 Spark 應用程序中，我們使用Spark structured streaming 。 它使用Kafka as input stream和HiveAcid as writeStream 。 對於HiveAcid ，它是來自qubole的名為spark acid的開源庫： https:/ ...

Pyspark 日志記錄：在錯誤的日志級別打印信息

[英]Pyspark Logging: Printing information at the wrong log level

謝謝你的時間！ 我想在調試我的代碼時創建和打印我的（大量）數據的清晰摘要到我的 output，但是一旦完成就停止創建和打印這些摘要以加快速度。 有人建議我使用我實施的日志記錄。 它可以按預期將文本字符串作為消息打印到 output - 但是在打印數據幀的摘要時，它似乎忽略了日志級別，創建它們並始終打 ...

IAM 角色密鑰輪換時避免預簽名 URL 到期

[英]Avoid pre-signed URL expiry when IAM role key rotates

在 Airflow 中，我定義了 2 個每天運行的任務： 第一個創建 zip 文件並將其保存在 AWS 的s3://{bucket-name}/foo/bar/{date}/archive.zip 第二個預先簽署 url（應在 7 天后到期）並將其發送給 Slack。 因為 Qubole 使用 IA ...

如何使用查詢表分區列表

[英]How to query table partitions list using

我需要以編程方式查詢 Qubole 以獲取 Hive 表的分區列表。 我可以通過調用正確的 API 端點來做到這一點，如此處所述，但我想使用qds-sdj-java 客戶端來做到這一點（我已經將它用於其他事情）。 在查看客戶端的 Javadoc API 文檔時，我沒有看到這樣做的選項。 有沒有辦法， ...

嘗試為 spark 結構化流執行 s3-sqs qubole 連接器

[英]trying to execute s3-sqs qubole connector for spark structured streaming

我正在嘗試關注https://github.com/qubole/s3-sqs-connector並嘗試加載連接器，但似乎連接器在 maven 上不可用，並且在手動生成 buiold 時未加載 sqs 類。 有人可以指導我嗎？ 謝謝， 迪佩什 ...

使用 Like 運算符的 Qubole Presto 數據類型“Map”

[英]Qubole Presto datatype “Map” using the Like Operator

因此，我嘗試在 Presto 上應用一個簡單的類似 function 的 Qubole 查詢。 對於字符串數據類型，我可以簡單地做'%United States of America%' 。 但是，對於我嘗試應用的列，其基礎數據類型為“map”，因此查詢失敗。 如何為 map 數據類型編寫 lik ...

Spark 提交默認命令行選項

[英]Spark Submit Default Command line options

我們如何更改 Qubole 中 Spark 提交默認命令行選項中的參數。 盡管在“Spark Submit Command Line Options”下有一個選項可以根據需要覆蓋這些值，但此選項在 Spark“Command Line”中不可用。 ...