返回介绍

监控检查点

发布于 2025-05-02 18:19:20 字数 2886 浏览 0 评论 0 收藏

概览

Flink 的 Web 界面提供了一个监视作业检查点的选项卡。作业终止后,这些统计数据也可用。有四个不同的选项卡可显示有关检查点的信息:概述,历史记录,摘要和配置。以下部分将依次介绍所有这些内容。

监控

概述选项卡

概述选项卡列出以下统计信息。请注意,这些统计信息不会在 JobManager 丢失后继续存在,并在 JobManager 故障转移时重置为。

  • 检查点计数
    • 触发:自作业启动以来已触发的检查点总数。
    • 进行中:当前正在进行的检查点数量。
    • 已完成:自作业开始以来成功完成的检查点总数。
    • 失败:自作业启动以来失败的检查点总数。
    • 已还原:自作业启动以来的还原 算子操作数。这也告诉您自提交以来作业重启的次数。请注意,使用保存点的初始提交也会计为还原,如果 JobManager 在 算子操作期间丢失,则会重置计数。
  • 最新完成的检查点 :最新成功完成的检查点。单击 More details 可为您提供详细的统计信息,直至子任务级别。
  • 最新失败的检查点 :最新的失败检查点。单击 More details 可为您提供详细的统计信息,直至子任务级别。
  • 最新保存点 :最新触发的保存点及其外部路径。单击 More details 可为您提供详细的统计信息,直至子任务级别。
  • 最新还原 :有两种类型的还原 算子操作。
    • 从检查点恢复:我们从常规定期检查点恢复。
    • 从保存点恢复:我们从保存点恢复。

历史选项卡

检查点历史记录保存有关最近触发的检查点的统计信息,包括当前正在进行的检查点。

![检查点监控:历史](img/checkpoint_monitoring-history.png)

  • ID :触发的检查点的 ID。每个检查点的 ID 都会增加,从 1 开始。
  • 状态 :检查点的当前状态, 正在进行中 (), 完成 (),或 失败 ()。如果触发的检查点是保存点,您将看到一个 符号。
  • 触发时间 :在 JobManager 中触发检查点的时间。
  • 最新确认 :在 JobManager 上收到最新确认的任何子任务的时间(如果尚未收到确认,则为 n / a)。
  • 端到端持续时间 :从触发时间戳到最近确认的持续时间(如果尚未收到确认,则为 n / a)。完整检查点的端到端持续时间由确认检查点的最后一个子任务确定。这个时间通常比单个子任务需要实际检查点状态要大。
  • 状态大小 :所有已确认子任务的状态大小。
  • 在对齐 期间缓冲:在对齐所有已确认子任务期间缓冲的字节数。如果在检查点期间发生流对齐,则此值仅为> 0。如果检查点模式是 AT_LEAST_ONCE 这将始终为零,因为至少一次模式不需要流对齐。

历史大小配置

您可以通过以下配置键配置记住历史记录的最近检查点的数量。默认是 10

# Number of recent checkpoints that are remembered

> 译者:[flink.sojb.cn](https://flink.sojb.cn/)

web.checkpoints.history: 15

摘要选项卡

摘要计算在对齐期间缓冲的端到端持续时间,状态大小和字节的所有已完成检查点的简单最小/平均/最大统计数据(有关这些含义的详细信息,请参阅 历史记录 )。

![检查点监控:摘要](img/checkpoint_monitoring-summary.png)

请注意,这些统计信息不会在 JobManager 丢失后继续存在,并在 JobManager 故障转移时重置为。

配置选项卡

配置列出您的流配置:

  • 检查点模式 : 正好一次 或 至少一次 。
  • 间隔 :配置的检查点间隔。在此时间间隔内触发检查点。
  • 超时 :超时后,JobManager 取消检查点并触发新的检查点。
  • 检查点之间的最小暂停 :检查点之间所需的最小暂停时间。检查点成功完成后,我们至少等待这段时间才能触发下一个检查点,这可能会延迟定期间隔。
  • 最大并发检查点 :可以 同时进行 的最大检查点数。
  • 外部持久检查点 :启用或禁用。如果启用,则还列出外部化检查点的清除配置(删除时取消或保存)。

检查点详细信息

单击检查点的“ 更多详细信息” 链接时,将获得所有 算子的“最小/平均/最大”摘要以及每个子任务的详细数字。

![检查点监控:详细信息](img/checkpoint_monitoring-details.png)

每个算子摘要

![检查点监控:详细信息摘要](img/checkpoint_monitoring-details_summary.png)

所有子任务统计

![检查点监控:子任务](img/checkpoint_monitoring-details_subtasks.png)

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。