標簽[streaming-analytics] - 堆棧內存溢出

[英]Managed Identity Azure Role Assignment for Streaming Job

我在“Sub1”中有一個事件中心 EH1，在“Sub2”中有一個 Streaming Job ASA1。 EH1 是 ASA1 的流輸入。為了增加安全性，我計划使用托管身份從流分析作業訪問事件中心。 https://docs.microsoft.com/en-us/azure/stream-a ...

數據流 API - 高可用性

[英]Data streaming API- High availability

在我在 AWS 上的架構中，我有一個在 EC2 實例上運行的服務，它調用 Twitter 流式傳輸 API 用於數據攝取，即攝取實時推文。我將此服務稱為 TwitterClient。 Twitter API 使用一種基於 HTTP 協議的長輪詢來傳遞流數據。文檔說——在您的應用程序（在我的例子 ...

檢測事件時間會話窗口的結束（Apache Flink Java）

[英]Detect end of event time session window (Apache Flink Java)

假設所有事件都准時到達並且不允許遲到，我如何僅在會話窗口結束時進行一些處理？即水印已經通過（ lastEventInWindowTimestamp + inactivityGap ）。我找不到發生這種情況時調用的任何 API 方法。我可以使用自定義ProcessWindowFunction實現 ...

訪問動態變化的 Apache Flink 中的每個鍵狀態存儲

[英]Accessing per-key state store in Apache Flink that changes dynamically

我有一個帶有不同鍵的消息流。對於每個鍵，我想創建一個事件時間會話窗口並僅在以下情況下對其進行一些處理： MIN_EVENTS窗口中已累積的事件數（本質上是鍵控狀態）對於每個鍵， MIN_EVENTS是不同的，並且可能會在運行時發生變化。我很難實現這一點。特別是，我正在像這樣實現這 ...

是否可以使用 Apache Beam / Google Cloud Dataflow 從 Azure EventHub 主題中使用？

[英]Is it possible to consume from an Azure EventHub topic using Apache Beam / Google Cloud Dataflow?

問題我們想使用 Google Cloud 中的數據流管道從 Azure 中的 EventHub 主題進行消費。題是否知道 KafkaIO 是否允許在 Apache Beam/Google Cloud 數據流作業中直接從 EventHub 進行消費？（見這個帖子）將 EventHub ...

將包含 3 列的 CSV 文件讀入 Datastream。 JAVA Apache Flink

[英]Read CSV file with 3 columns into Datastream. JAVA Apache Flink

我一直在努力設置一個從 Z628CB5675FF524F3E719B7AA2E88FE3 文件創建Datastream<Tuple3<Integer, java.sql.Time, Double>>的 flink 應用程序。此文件中的列（列ID, dateTime and ...

比較 WSO2 Stream 處理器中的批次平均值

[英]Compare batches of average values with each other in WSO2 Stream Processor

我在 Siddhi 中編寫了一些代碼，用於記錄/打印一批最后 100 個事件的平均值。所以事件 0-100、101-200 等的平均值。我現在想將這些平均值相互比較以找到某種趨勢。首先，我只想看看對於一定數量的平均值是否存在一些簡單的下降趨勢。例如，我想將所有平均值與所有即將到來的 1-10 ...

在 WSO2 stream 處理器中將字符串轉換為雙精度或浮點問題

[英]Converting string to double or float issue in WSO2 stream processor

我有一個 CSV 文件，我想加載到 WS02 stream 處理器中以模擬事件。我有一個名為“結果”的列。這是 CSV 文件中的字符串列。在 WSO2 stream 處理器中，我嘗試將傳入的 Result 字符串轉換為 double 或 float。但這不起作用。我還嘗試以某種方式更改 C ...

流分析-處理沒有數組名稱的JSON

[英]Stream Analytics - Processing JSON with no array name

帶有modbus模塊的IoT Edge v2將數據發送到IoT中心，格式為：我想使用包含CROSS APPLY GetArrayElements（）的流分析查詢將此數組轉換為行，但是此函數需要一個數組名稱。顯然沒有名字。有什么建議么？ https://docs.micro ...

如何編寫查詢以提取KSQL中的所有字段值以及條件滿足值

[英]How to write the query to extract all the field value along with condition satisfied values in KSQL

使用以下字段創建流將pageid更改為大寫以及以下值。結果現在我想要的是條件滿足數據必須被修改和提取以及類似的剩余字段值你可以幫我解決這個用例嗎？ ...

U-sql：如何處理具有帶有多個對象的多個JSON數組的Avro文件？

[英]U-sql : How to process an Avro file with multiple JSON arrays with multiple objects?

我通過流分析和使用捕獲的事件中心在Data Lake Store中收到一個Avro文件。該文件的結構如下所示： [{ “ID”：1， “PID”： “ABC”， “值”： “1”， “utctimestamp”：1537805867}，{ “ID”：6569， “PID”： “1E ...

樣本數據-流分析

[英]Sample data - Streaming Analytics

我想在HANA Streaming Analytics上進行小型POC或項目。任何人都可以建議我在哪里可以獲取樣本數據以進行或開始？問候，維納亞 ...