堆棧內存溢出
cost 88 ms
如何在 Athena 中將 GMT 字符串轉換為日期

[英]How to convert string with GMT to date in Athena

我有一列以字符串格式填充日期，例如2023-01-31 11:21:33 GMT 。 我正在嘗試編寫一個查詢，該查詢將 select 一年零一個月，稍后將進行一些計算。 我使用EXTRACT(YEAR FROM a))等的標准方法不起作用。 因此，我正在嘗試使用PARSE_DATETIME(a, ' ...

雅典娜時間戳

[英]Athena Timestamp

我的日期時間的合適格式是什么？ 我嘗試了幾種組合並遇到了各種錯誤。 數據是一個字符串，這里是一個例子：“2022-10-28T00:00:00Z” 這些都不起作用： `WHERE MONTH(parse_datetime(start, 'yyyy-MM-dd"T"HH:mm:ss"Z"')) = ...

使用 Spark 引擎從 AWS Athena 連接 Snowflake

[英]Connect Snowflake from AWS Athena using Spark engine

在 AWS Re:Invent 2022 中宣布了 Athena 的新功能，包括使用 Apache Spark 運行數據分析和探索，而無需規划、配置或管理資源。 但是我想知道是否有可能或者是否有人嘗試使用這些 pyspark 筆記本連接到雪花？ 我知道使用 Athena SQL 引擎我可以做到，但 ...

在不影響 Amazon Athena 的情況下阻止從 Amazon S3 下載文件

[英]Block files download from Amazon S3 without compromising Amazon Athena

我在下面創建了此策略以防止用戶下載特定 Amazon S3 存儲桶中的文件，但他們也無法在 Amazon Athena 中運行查詢，出現“Permission denied on S3 path: ...”錯誤。 一旦我刪除了策略，他們就可以立即再次運行查詢。 另一方面，他們可以讀取 EMR Not ...

如何確保步驟 Function 在 AWS 中正確執行參數化查詢？

[英]How to ensure a Step Function executes Parameterized Query properly in AWS?

我目前正在嘗試在 State 機器上執行 Athena 查詢。 查詢本身需要一個日期變量以在多個WHERE語句中使用，因此我使用 Lambda 來生成它。 當我運行EXECUTE prepared-statement USING 'date', 'date', 'date'; 直接在 Athena ...

投影下壓 Trino/Presto SQL (Athena)

[英]Projection Pushdown Trino/Presto SQL (Athena)

在這種情況下投影下推是否有效？ 如您所見，在 CTE 中，我從表中執行了一個SELECT * 但是當我實際提取數據時，我只提取了列 id 在這種情況下，查詢引擎是在過濾和僅顯示 id 列之前讀取並引入表中的所有列（如果有多個列，這將是一個很大的 memory 浪費）還是應用投影下推和查詢引擎掃描並 ...

隨着 AWS Glue datacatalog 元數據大小變大，如何處理失敗的 Athena 查詢？

[英]How to deal with failing Athena queries as AWS Glue datacatalog metada size grows large?

根據我的研究，從 Glue 的數據目錄中獲取元數據的最簡單和最直接的方法是使用 Athena 並查詢information_schema數據庫。 以下文章在我的研究中經常出現，由亞馬遜團隊撰寫： 查詢 AWS Glue 數據目錄但是，在標題為“注意事項和限制”的部分下，寫了以下內容： 如果您有少 ...

使用分區投影創建表會導致空表

[英]Creating a table with partition projection results in an empty one

我正在基於 S3 存儲桶中 CSV 個文件的列表在 Athena 中創建一個表。 存儲桶中的文件放置在這樣的文件夾中： 這是文件夾結構的格式： 我想使用 Athena 的分區投影，這就是我創建表格的方式：CREATE EXTERNAL TABLE analytics.logs ( id stri ...

當使用 SPARK 讀取視圖時，在 HUDI 表上創建 Athena 視圖會返回軟刪除記錄

[英]Creating an Athena view on a HUDI table returns soft deleted records when the view is read using SPARK

我有多個具有不同列名的 HUDI 表，我在其上構建了一個視圖以標准化列名。 從 Athena 讀取此視圖時，它會返回正確的響應。 但是，當使用 SPARK 使用 spark.read.parquet("<>") 讀取相同的視圖時，它也會返回軟刪除的記錄。 我知道需要使用 spark.re ...

如何在 Athena 中更新表

[英]How to update table in Athena

我正在使用 create sql 查詢從 Athena 中的另一個表“B”創建一個表“A”。 但是，表“B”每小時更新一次新行。 我想知道如何在不刪除表 A 並重新創建它的情況下更新表 A 數據。 我嘗試刪除表並再次創建它，但這似乎會在每次創建新表時產生性能問題。 我只想在表 A 中插入新行，以表 ...

SQL 查詢以提取字符串之間的字符並生成新的行和列

[英]SQL query to extract characters between the strings and making new rows and columns

所以我有一個包含長文本的表格，如果我更改我的配置文件設置中的某些項目，它基本上是記錄的更改。 我需要提取更改的項目，以及項目中文本的前后。 表格如下： 主表 ID 日期細繩 1234 2022-01-01 company_id:;-;- 1;name:;- ABC;- ABC(new);addr ...

雅典娜 / 急速查詢

[英]athena / presto query

我有一個 json 保存在 Athena 表中 我需要在 Athena 中編寫一個查詢來查找，找到所有 FAILED=TRUE 記錄，如下所示 output： 我嘗試了各種功能，如 TRANSFORM、UNNEST、JSON_EXTRACT 等，但還沒有成功。 請告知我是否可以使用任何特定功能。 提 ...

給定兩個日期列，如何將數據轉換為每日快照？

[英]How to transform data into daily snapshot given the two date columns?

我的表中有產品數據，看起來與此類似產品編號用戶身份銷售開始銷售結束數量 1個 12 2022-01-01 2022-02-01 15 2個 234 2022-11-01 2022-12-31 123 我想將表格轉換為每日快照，使其看起來像這樣： 產品編號用戶身份數量日期 1個 12 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM