應用部署在yarn中時samza如何生成container.id？
[英]How does samza generate the container.id when the application is deployed in yarn?
當應用程序部署在紗線中時，有人可以告訴我 samza 如何生成samza.container.id / SAMZA_CONTAINER_ID嗎？ 我在 samza 代碼庫中環顧四周，但找不到生成samza.container.id的邏輯 ...
Apache Samza 刷新表立即更新到更改日志
[英]Apache Samza flush table update to changelog immediately
如果我為 Samza 中的 RocksDB 表指定更改日志支持。 是否有配置將異步寫入時間更新到更改日志？ 我想把它縮短到更短的時間。 我在Config 參考中看不到任何內容。 我想要的場景是在橋接舊版 JMS 連接后從 stream 寫入變更日志。 此舊連接提供部分更新，我想將部分更新合並到更完整 ...
org.apache.beam.sdk.util.UserCodeException 使用 Samza Runner 執行 Beam Pipeline
[英]org.apache.beam.sdk.util.UserCodeException while executing Beam Pipeline using the Samza Runner
我正在嘗試使用 Samza Runner 從此處運行 Wordcount 演示。 這是我的 build.gradle 我的 wordcount.java 如下。 我正在使用 Beam 版本 2.22.0。 我嘗試了以下組合。 帶有 Beam 2.22 的 Samza 1.4、帶有 Beam 2.1 ...
與 Beam 中的運行器依賴項沖突
[英]Conflict with runner dependencies in Beam
我想使用 Beam 測試不同的 stream 處理引擎，但是在包含 Flink和Samza 依賴項時無法運行程序。 如果只包括其中一個，則它適用於所有其他跑步者。 我的pom.xml包含以下內容：<properties> <maven.compiler.releas ...
重置為 Kafka 分區中的自定義偏移量
[英]Reset to custom offset in Kafka partition
我正在為我正在研究的特定用例研究 Kafka。 我有一個正在流動的數據流，我想對其進行處理並將其發布到中間階段。 在這些階段（初始和中間）中的每一個階段， Samza 任務都會進行處理和重新發布。 我的要求之一是能夠隨時從特定階段重新觸發整個處理管道。 我知道 kafka 為其每個日志（傳入數據 ...
強制 RocksDB 支持的 Samza 鍵/值存儲從 kafka 更改日志重新加載？
[英]Force Samza key/value store backed by RocksDB to reload from kafka changelog?
為了調試生產問題，我使用 ProcessJobFactory 在本地運行 Samza 代碼。 一切似乎都運行良好。 該代碼使用由 RocksDB 和 Kafka 支持的 Samza 鍵/值存儲作為變更日志（Kafka 在不同的機器上運行，以防萬一）。 為了用真實數據填充環境進行調試，我將實時數據 ...
Samza教程編譯Scala失敗
[英]Samza tutorial compileScala FAILED
由於我是Samza和Scala的新手，因此不確定如何解決此問題。 我正在關注該教程，目前停留在此部分： https : //github.com/apache/samza-hello-samza#2-start-a-grid 這是我收到的錯誤消息 ...
samza容器出現故障
[英]samza container are failing
您好，我的samza作業容器由於以下錯誤而經常失敗： 容器啟動例外。 容器ID：container_1540535314451_0141_01_000021退出代碼：1堆棧跟蹤：ExitCodeException exitCode = 1：在org.apache.hadoop.uti ...
卡夫卡生產者超時異常
[英]Kafka Producer TimeOutException
我正在運行將數據寫入 Kafka 主題的 Samza 流作業。 Kafka 正在運行一個 3 節點集群。 Samza 作業部署在紗線上。 我們在容器日志中看到了很多這些異常： 這 3 種類型的異常經常出現。 請幫助我了解這里的問題。 每當它發生時，Samza 容器都會重新啟動。 ...
Samza 0.14.1無法正確處理OffsetOutOfRangeException異常嗎？
[英]Samza 0.14.1 not correctly handling OffsetOutOfRangeException exception?
我們正面臨與此線程中描述的相同問題。 在這里-Samza請求的Kafka分區偏移量太舊（即Kafka日志已向前移動）。 我們將屬性consumer.auto.offset.reset設置為smallest ，因此，在這種情況下，Samza希望將其檢查點重置為最早的可用分區偏移量。 但這 ...
在給定messageId的流數據中緩沖消息
[英]Buffer messages in stream data for a given messageId
用例：我有具有messageId的消息，多個消息可以具有相同的消息ID，這些消息存在於由messageId分區的流傳輸管道（如kafka）中，因此我確保所有具有相同messageId的消息都將進入同一分區。 因此，我需要編寫一份應將消息緩沖一段時間（比如說1分鍾）的作業，然后將所有具有相同 ...
Samza：將消息的處理延遲到時間戳記
[英]Samza: Delay processing of messages until timestamp
我正在與Samza處理來自Kafka主題的消息。 某些消息將來會帶有時間戳，我想將處理推遲到該時間戳之后。 同時，我想繼續處理其他傳入消息。 我想做的是使我的Task在消息中排隊，並實現WindowableTask來定期檢查消息（如果它們的時間戳允許處理它們）。 基本思想如下： ...
Spark 存在時 Hadoop 和 Streaming 解決方案的相關性
[英]Relevance of Hadoop & Streaming solutions when Spark exists
我正在為我的初創公司啟動一個大數據計划。 在 2018 年，有什么理由完全使用 Hadoop，因為 Spark 被吹捧為更快，因為它主要不是像 Hadoop 的 MR 那樣將中間數據寫入磁盤。 我意識到 Spark 對 RAM 的需求更高，但這只是一次可以收回成本的 CAPEX 成本嗎？ 一般來 ...
將數據從單獨的kafka集群加載到Samza？
[英]Load data from separate kafka cluster to Samza?
我正在嘗試創建一個Samza工作，使其與Wikipedia示例工作非常相似。 但是，在“ WikipediaFeed”對象中，我試圖從與啟動Hello-Samza網格時正在運行的Kafka代理不同的Kafka代理獲取數據。 我是否必須在“ WikipediaFeed”對象內創建一個線程安 ...
Apache Samza：Samza REST和hello-samza入門
[英]Apache Samza: Getting Started with Samza REST and hello-samza
我正在遵循Apache Samza網站上的hello-samza教程，並希望按此處所述添加REST服務： http : //samza.apache.org/learn/tutorials/latest/samza-rest-getting-started.html 我可以在YARN UI ...
Samza相當於Kafka Consumer-手動偏移控制（enable.auto.commit = false）
[英]Samza equivalent of Kafka Consumer - Manual Offset Control (enable.auto.commit = false)
我們有Samza任務，它從Kafka Output流中讀取消息，但是如果在處理消息時出現任何可重試的失敗，那么我希望我的Samza任務再次讀取同一消息並重新處理它。 在成功處理該消息后，確認該消息用於檢查點。 有沒有一種方法可以手動控制檢查點（就像Kafka Consumer通過將ena ...
與samza一起使用遠程kafka主題
[英]consume remote kafka topic with samza
我正在嘗試將hello-samza教程修改為： （1）從遠程代理（即不是本地主機）上的kafka主題中讀取（2）將消息寫入文件 我將WikipediaFeedStreamTask.java修改為如下所示： 這只是標准文件，另外還有將消息寫入文件的功能。 我修改了屬性文件 ...
您好samza無法在Windows 7中正常運行
[英]Hello samza not able to run properly in windows 7
我做了所有操作，如http://samza.apache.org/startup/hello-samza/0.13/所示。基本上，克隆存儲庫並輸入“ bin / grid bootstrap”。 但是最后，我收到一條錯誤消息，提示Zookeeper無法啟動，如下所示，有人知道我該如何解決此問題 ...
如何遍歷KeyValueStore中的所有元素
[英]how to go through all element in KeyValueStore
我有一個類型為KeyValueStore>的KeyValueStore。 我不知道鍵的范圍。 有什么辦法可以遍歷samza中的整個keyvaluestore？ 謝謝 ...
還有job.coordinator.system的替代選擇
[英]is there a alternative choice for job.coordinator.system
我想使用samza，但案例是我們的kafka主題創建受到限制（主題創建應受到審查，並且應具有具體目的）。 那么，“ job.coordinator.system”還有其他選擇嗎？ 我需要用法介紹。 非常感謝！ ...