网站开发意义,wordpress 律师,林管局网站建设方案,网页设计图片的代码Flink系列之#xff1a;监控Checkpoint 一、概览二、概览#xff08;Overview#xff09;选项卡三、历史记录#xff08;History#xff09;选项卡四、历史记录数量配置五、摘要信息#xff08;Summary#xff09;选项卡六、配置信息#xff08;Configuration#xff… Flink系列之监控Checkpoint 一、概览二、概览Overview选项卡三、历史记录History选项卡四、历史记录数量配置五、摘要信息Summary选项卡六、配置信息Configuration选项卡七、Checkpoint 详细信息 一、概览
Flink 的 Web 界面提供了选项卡/标签tab来监视作业的 checkpoint 信息。作业终止后这些统计信息仍然可用。有四个不同的选项卡可显示有关 checkpoint 的信息概览Overview历史记录History摘要信息Summary和配置信息Configuration。以下各节将依次介绍这些内容。
二、概览Overview选项卡 Checkpoint Counts Triggered自作业开始以来触发的 checkpoint 总数。In Progress当前正在进行的 checkpoint 数量。Completed自作业开始以来成功完成的 checkpoint 总数。Failed自作业开始以来失败的 checkpoint 总数。Restored自作业开始以来进行的恢复操作的次数。这还表示自 提交以来已重新启动多少次。请注意带有 savepoint 的初始提交也算作一次恢复如果 JobManager 在此操作过程中丢失则该统计将重新计数。 Latest Completed Checkpoint最新最近成功完成的 checkpoint。点击 More details 可以得到 subtask 级别的详细统计信息。 Latest Failed Checkpoint最新失败的 checkpoint。点击 More details 可以得到 subtask 级别的详细统计信息。 Latest Savepoint最新触发的 savepoint 及其外部路径。点击 More details 可以得到 subtask 级别的详细统计信息。 Latest Restore有两种类型的恢复操作。 Restore from Checkpoint从 checkpoint 恢复。Restore from Savepoint从 savepoint 恢复。
三、历史记录History选项卡
Checkpoint 历史记录保存有关最近触发的 checkpoint 的统计信息包括当前正在进行的 checkpoint。
注意对于失败的 checkpoint指标会尽最大努力进行更新但是可能不准确。
ID已触发 checkpoint 的 ID。每个 checkpoint 的 ID 都会递增从 1 开始。StatusCheckpoint 的当前状态可以是正在进行In Progress、已完成 Completed 或失败Failed。如果触发的检查点是一个保存点你将看到一个 符号。Acknowledged已确认完成的子任务数量与总任务数量。Trigger Time在 JobManager 上发起 checkpoint 的时间。Latest AcknowledgementJobManager 接收到任何 subtask 的最新确认的时间如果尚未收到确认则不适用。End to End Duration从触发时间戳到最后一次确认的持续时间如果还没有收到确认则不适用。完整 checkpoint 的端到端持续时间由确认 checkpoint 的最后一个 subtask 确定。这个时间通常大于单个 subtask 实际 checkpoint state 所需的时间。Checkpointed Data Size: 在此次checkpoint的sync以及async阶段中持久化的数据量。如果启用了增量 checkpoint或者changelog则此值可能会与全量checkpoint数据量产生区别。Full Checkpoint Data Size: 所有已确认的 subtask 的 checkpoint 的全量数据大小。Processed (persisted) in-flight data在 checkpoint 对齐期间从接收第一个和最后一个 checkpoint barrier 之间的时间所有已确认的 subtask 处理/持久化 的大约字节数。如果启用了 unaligned checkpoint持久化的字节数可能会大于0。
对于 subtask有两个更详细的统计信息可用。
Sync DurationCheckpoint 同步部分的持续时间。这包括 operator 的快照状态并阻塞 subtask 上的所有其他活动处理记录、触发计时器等。Async DurationCheckpoint 的异步部分的持续时间。这包括将 checkpoint 写入设置的文件系统所需的时间。对于 unaligned checkpoint这还包括 subtask 必须等待最后一个 checkpoint barrier 到达的时间checkpoint alignment 持续时间以及持久化数据所需的时间。Alignment Duration处理第一个和最后一个 checkpoint barrier 之间的时间。对于 checkpoint alignment 机制的 checkpoint在 checkpoint alignment 过程中已经接收到 checkpoint barrier 的 channel 将阻塞并停止处理后续的数据。Start Delay从 checkpoint barrier 创建开始到 subtask 收到第一个 checkpoint barrier 所用的时间。Unaligned CheckpointCheckpoint 完成的时候是否是一个 unaligned checkpoint。在 alignment 超时的时候 aligned checkpoint 可以自动切换成 unaligned checkpoint。
四、历史记录数量配置
你可以通过以下配置键配置历史记录所保存的最近检查点的数量。默认值为 10。
# 保存最近 checkpoint 的个数
web.checkpoints.history: 15五、摘要信息Summary选项卡
摘要计算了所有已完成 checkpoint 的端到端持续时间、增量/全量Checkpoint 数据大小和 checkpoint alignment 期间缓冲的字节数的简单 min/average/maximum 统计信息。 请注意这些统计信息不会在 JobManager 丢失后无法保存如果 JobManager 故障转移这些统计信息将重新计数。
六、配置信息Configuration选项卡
该配置选项卡列出了你指定的配置streaming configuration
Checkpointing Mode恰好一次Exactly Once或者至少一次At least Once。Interval配置的 checkpoint 触发间隔。在此间隔内触发 checkpoint。Timeout超时之后JobManager 取消 checkpoint 并触发新的 checkpoint。Minimum Pause Between CheckpointsCheckpoint 之间所需的最小暂停时间。Checkpoint 成功完成后我们至少要等这段时间再触发下一个这可能会延迟正常的间隔。Maximum Concurrent Checkpoints可以同时进行的最大 checkpoint 个数。Persist Checkpoints Externally启用或禁用持久化 checkpoint 到外部系统。如果启用还会列出外部化 checkpoint 的清理配置取消时删除或保留。
七、Checkpoint 详细信息
当你点击某个 checkpoint 的 More details 链接时你将获得其所有 operator 的 Minimum/Average/Maximum 摘要信息以及每个 subtask 单独的详细量化信息。 每个 Operator 的摘要信息 所有 Subtask 的统计信息
