堆棧內存溢出
cost 200 ms
Kinesis firehose 真的是實時處理嗎？

[英]Kinesis firehose is really realtime processing?

實際上，我有帶 Kinesis firehose 的管道，源數據是對 firehose 的 PUT 請求，但我從源到目標 (s3) 的總時間太慢，大約 3 分鍾。 這次不像實時應用，我附上window的設置 終於在目標（s3 - 目的地設置） 您如何在不到 1 分鍾的時間內縮短源到目標的時間？ ...

使用aws將JSON轉換為Apache Parquet格式的最佳方法

[英]Best way to convert JSON to Apache Parquet format using aws

我一直在做一個項目，我一直在將物聯網數據存儲在 s3 存儲桶中並使用 aws kinesis firehose 對它們進行批處理，我有一個 lambda function 在交付 stream 上運行，我將紀元毫秒時間轉換為具有日期的正確時間戳和時間。 這是我的示例 JSON 有效負載 我現在想將 ...

在 cloudflare worker 中批量調用外部服務

[英]Batching external call to external service in cloudflare worker

我正在研究一個登錄到外部服務（Kinesis firehose）然后進行重定向的小型工作者我正在嘗試將外部調用一起批處理以避免達到攝取限制。 這是正確的方法還是有更好的方法？ （ps我看過使用隊列，但我們需要的成本會很高） 它似乎在本地工作但在部署時不起作用謝謝喬什 ...

如何在不公開整個集群的情況下將 Redshift 安全地暴露給 Kinesis Firehose

[英]How to safety expose Redshift to Kinesis Firehose without making the whole cluster public

Firehose 文檔清楚 state： 如果您的 Amazon Redshift 集群位於虛擬私有雲 (VPC) 中，則它必須可以通過公共 IP 地址公開訪問。 它繼續提供 CIDR 范圍，以便您可以允許它通過安全組。 RedShift 文檔 go 解釋您需要有到 0.0.0.0 的路由和一 ...

AWS Kinesis Data Firehose 和 Lambda

[英]AWS Kinesis Data Firehose and Lambda

我有不同的數據源，我需要將它們實時發布到 S3。 在將數據傳送到 S3 存儲桶之前，我還需要處理和驗證數據。 所以，我必須使用 AWS Lambda 和驗證數據。 問題是AWS Kinesis Data Firehose和使用AWS Lambda直接存入S3 Bucket有什么區別？ 很明顯，使用 ...

如何從 AWS Kinesis Firehose 編寫帶有 int64 時間戳（而不是 int96）的 Parquet 文件？

[英]How can I write Parquet files with int64 timestamps (instead of int96) from AWS Kinesis Firehose?

為什么 int96 時間戳對我不起作用？ 我想用 S3 Select 讀取 Parquet 文件。 根據文檔，S3 Select 不支持保存為 int96 的時間戳。 此外，不推薦將 parquet 中的時間戳存儲為int96 。 我嘗試了什么？ Firehose 使用org.apache.ha ...

在 AWS ProcessingConfigurationProperty 字段中提取可選字段或默認值

[英]Extracting an optional field or default value in AWS ProcessingConfigurationProperty field

我正在使用 AWS kinesis stream 為交付 output (S3) 創建前綴，我選擇 JQ 作為解析器，其中一個前綴鍵是可選的，我嘗試了 jq 提供的替代選項，但它給了我一個錯誤。 我附上了隨機的 AWS cloudtrail 和代碼片段。 ` ` 我想獲得構建 S3 前綴，但我不 ...

從數據 stream (Kinesis) 到 OpenSearch AWS 創建交付 stream (Firehose)

[英]Create delivery stream (Firehose) from data stream (Kinesis) to OpenSearch AWS

我正在嘗試使用以下選項在 AWS 控制台中創建交付 Stream (Firehose)： 資料來源：Amazon Kinesis 數據流目的地：Amazon OpenSearch 服務 Amazon OpenSearch Service 的域是 OpenSearch 2.3 版本，具有以下選項： ...

如何在 Kinesis Firehose 中的 JSON 個對象之間指定分隔符

[英]How to specify delimiter between JSON objects in Kinesis Firehose

據我了解，只要激活動態分區，就可以在 Firehose 上指定定界符。 您可以在“動態分區”部分下看到“換行符”選項。 但是，我需要在不使用動態分區的情況下指定一個分隔符。 我在任何地方都看不到這個選項。 有可能實現嗎？ 注意：我試圖找到一個內置的解決方案，而不是在生產者應用程序中手動附加data ...

在將 Opensearch 設置為 Firehose 目標時，IAM 無法訪問 Elasticsearch 域

[英]IAM has no access to Elasticsearch domain while Setting Opensearch as a Firehose destination

我正在嘗試構建一個使用帶有 Python 的 CDK 向 Opensearch 提供數據的 Firehose，當我從控制台執行此操作時，它就像一個魅力但是當我嘗試使用 CDK 部署它時它給了我這個錯誤Resource handler returned message: "Verify that th ...

使用 kenisis firehose 將 dynamodb 同步到紅移表中

[英]Sync dynamodb into redshift table with kenisis firehose

我在這里找到了有關如何通過 kinsis firehose 從 dynambo 將項目級別更改為 s3 的教程，但是如何將這些更改為 redshift 表？ 如果一個項目被更新，它將為其創建一個新記錄並發布到 s3，那么是否有關於如何進行這些項目級別更改並將它們讀入表格的教程或指南？ ...

從 Kinesis 流式傳輸到 S3 的數據因 KPL 本身寫入的非法字符而失敗

[英]Streaming data from Kinesis to S3 fails with Illegal Character that KPL itself writes

我有一個相對簡單的用例： 從 Kafka 主題中讀取 Avro 數據使用 KPL ( v0.14.12 ) 將此數據發送到 Kinesis Data Streams 使用 Kinesis Firehose 將此數據轉換為 Parquet 並將其傳輸到 S3。 Kafka 主題是由 Kafka St ...

為什么 Kinesis 或 Crawler 在我的數據中創建分區？

[英]Why is Kinesis or Crawler creating partitions in my data?

上下文：我正在根據粘合模式使用運動將 lambda 中的 stream 數據放入 S3 存儲桶中。 然后，我在我的 S3 存儲桶上運行一個爬蟲來對我的數據進行分類。 我的數據在寫入 kinesis firehose 時具有以下屬性：'dataset_datetime、attr1、attr2、att ...

如果 Lambda 函數失敗，是否有辦法恢復 Kinesis Data？

[英]Is there a way to recover Kinesis Data if Lambda function fails?

上下文：我正在使用 lambda 函數從第三方來源抓取數據（此 lambda 函數在我的 cloudwatch 事件橋中調用，因此它是異步的），然后將該數據寫入 kinesis firehose，后者將其寫入 S3 存儲桶。 這允許數據緩沖，並確保無論 S3 連接失敗如何都將數據寫入 S3（因為 k ...

Lambda 將空記錄寫入 s3

[英]Lambda writing empty records to s3

我正在嘗試使用測試事件從 firehose 寫入 s3 我的 lambda 代碼是 該代碼打印了預期的輸出，並且 kinesis 正在寫入成功的 s3 文件夾，但是當我從 s3 下載文件時，它只是一個空的 {}。 是什么導致 s3 中的 {} 為空？ ...

將 JSON 文件推送到 Firehose 時格式轉換失敗

[英]Format Conversion Failed when Pushing JSON File into Firehose

我有一個熊貓數據stocks_df ，如下所示： 我需要將其轉換為 JSON 並將其推送到 firehose 我收到一些錯誤，並在我的 S3 存儲桶format-conversion-failed/中創建了一個文件夾，文件中包含以下內容： 這是來自 RawData 的解碼值： "{\"D ...

使用 Python 將數據從 AWS lambda 推送到 Kinesis Firehose

[英]Pushing data from AWS lambda to Kinesis Firehose using Python

我正在嘗試使用 Lambda 函數將數據從 RDS 發送到 firehose。 我能夠使用 lambda 函數從 RDS 檢索數據。 現在我想將該數據從 Lambda 函數發送到 kinesis firehose。 我能夠使用片段中給出的粗體代碼從 RDS 中檢索數據，並且來自 RDS 的輸入存儲 ...

HOWTO Fluent Bit OUTPUT 到多個 AWS 賬戶上的多個 Kinesis Firehose

[英]HOWTO Fluent Bit OUTPUT to multiple Kinesis Firehose on multiple AWS accounts

我正在嘗試通過 Fluent Bit v1.8.12 將相同的日志發送到多個 AWS 賬戶上的多個 Kinesis Firehose Stream。 如何正確使用role_arn OUTPUT屬性中的 role_arn？ 我可以發送到 firehose A 但不能發送到 firehose B。此外， ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM