[英]How to update/refresh a parameter in Flink application
我在 AWS Kinesis Analytics 服務上有一個 Flink 應用程序。 我需要根據閾值過濾數據 stream 上的一些值。 此外,我正在使用 AWS Systems Manager Parameter Store 服務傳遞閾值參數。 現在,我得到了這個:
val threshold: Int = ssmParameter.getParameterRequest(ssmClient, "/kinesis/threshold").toInt
val kinesis_deserialization_schema = new KinesisDeserialization[ID]
val KinesisConsumer = new FlinkKinesisConsumer[ID](
"Data-Stream",
kinesis_deserialization_schema,
consumerProps
)
val KinesisSource = env.addSource(KinesisConsumer).name(s"Kinesis Data")
val valid_data = KinesisSource
.filter(new MyFilter[ID](threshold))
.name("FilterData")
.uid("FilterData")
import cl.mydata.InputData
import org.apache.flink.api.common.functions.FilterFunction
class MyFilter[ID <: InputData](
threshold: Int
) extends FilterFunction[ID] {
override def filter(value: ID): Boolean = {
value.myvalue > threshold
}
}
}
這很好用,問題是我需要每小時更新閾值參數,因為我的客戶可以更改該值。
或許可以在支持定時器操作的MyFilter class中實現ProcessingTimeCallback接口,可以在onProcessingTime中更新閾值function
public class MyFilter extends FilterFunction<...> implements ProcessingTimeCallback {
int threshold;
@Override
public void open(Configuration parameters) throws Exception {
scheduler.scheduleAtFixedRate(this, 1, 1, TimeUnit.HOURS);
final long now = getProcessingTimeService().getCurrentProcessingTime();
getProcessingTimeService().registerTimer(now + 3600000, this);
}
@Override
public boolean filter(IN xxx) throws Exception {
return xxx > threshold;
}
@Override
public void onProcessingTime(long timestamp) throws Exception {
threshold = XXXX;
final long now = getProcessingTimeService().getCurrentProcessingTime();
getProcessingTimeService().registerTimer(now + 3600000, this);
}
}
您可以將FilterFunction
轉換為BroadcastProcessFunction
,並在新閾值可用時廣播它們。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.