有口碑的顺德网站建设,湘潭网页定制,有可以花钱让人做问券的网站吗,公司最近想做个网站怎么办背景
在flink基于事件的时间处理中#xff0c;水位线记录的生成是一个很重要的环节#xff0c;本文就来记录下几种水位线记录的生成方式的其中一种#xff1a;基于特殊记录的水位线生成器
基于特殊记录的水位线生成器
我们发送的事件中#xff0c;如果带有某条特殊记录的…背景
在flink基于事件的时间处理中水位线记录的生成是一个很重要的环节本文就来记录下几种水位线记录的生成方式的其中一种基于特殊记录的水位线生成器
基于特殊记录的水位线生成器
我们发送的事件中如果带有某条特殊记录的元素代表了某种进度的标识的话我们可以基于这条特殊的记录生成水位线这样我们当收到这条特殊记录时就知道这个记录的时间戳之前的记录都已经全部收到了也就是可以基于这条特殊记录发出水位线了。代码如下所示
public class SpecialRecordWaterMark extends AssignerWithPunctuateWaterMarks{public long extractTimeStamp(event Event, previousTs long){
// 抽取记录的时间戳return event.getTimeStamp();
}public WaterMark checkAndGetNextWaterMark(event Event, extractedTs long){
if(event is 特殊记录){//发出水位线,这里的delay可以为0也可以为比如一分钟等数值return new WaterMark(extractedTs - delay)
}else{
//不发出水位线记录
}
}
}总结
基于特殊记录的水位线生成器的最大问题时flink是并行处理输入记录的你如何能确保特殊记录是比正常记录后处理的我能想到的场景是比如kafka队列所有你要处理的记录都在某个分区中有序特殊记录也是分区有序的情况下才能使用这种方法生成水位线
