- Apache Flink 文档
- 概念
- 数据流编程模型
- 分布式运行时环境
- 教程
- API 教程
- DataStream API 教程
- Setup 教程
- 本地安装教程
- 在 Windows 上运行 Flink
- 例子
- 批处理示例
- 应用开发
- 项目构建设置
- Java 项目模板
- Scala 的项目模板
- 配置依赖关系,连接器,库
- 基础 API 概念
- Scala API 扩展
- Java Lambda 表达式
- Flink DataStream API 编程指南
- 活动时间
- 事件时间/处理时间/摄取时间
- 活动时间和水印
- 状态与容错
- 算子
- DataStream 转换
- 物理分区
- 任务链和资源组
- 流连接器
- 旁路输出
- Python 编程指南(流)Beta
- 测试
- 实验特点
- Flink DataSet API 编程指南
- 数据集转换
- 容错
- 在数据集中压缩数据元
- 迭代
- Python 编程指南 Beta
- 连接器
- Hadoop 兼容性测试版
- 本地执行
- 群集执行
- Table API 和 SQL
- 概念和通用 API
- 流处理概念
- 连接到外部系统
- Table API
- SQL
- 内置函数
- 用户定义的源和接收器
- 用户定义的函数
- SQL 客户端测试版
- 数据类型和序列化
- 为 Flink 程序注册自定义序列化程序
- 管理执行
- 执行配置
- 程序打包和分布式执行
- 并行执行
- 执行计划
- 重启策略
- 类库
- FlinkCEP - Flink 的复杂事件处理
- 风暴兼容性 Beta
- 项目配置
- 执行 Storm 拓扑
- 在 Flink 流程序中嵌入 Storm 算子
- Flink Extensions
- Storm 兼容性示例
- Gelly:Flink Graph API
- 图 API
- FlinkML - Flink 的机器学习
- 最佳实践
- API 迁移指南
- 部署和运营
- 集群和部署
- 独立群集
- YARN 设置
- Mesos 设置
- Kubernetes 设置
- Docker 设置
- 亚马逊网络服务(AWS)
- Google Compute Engine 设置
- 先决条件
- 在 Google Compute Engine 上部署 Flink
- MapR 设置
- Hadoop 集成
- JobManager 高可用性(HA)
- 状态和容错
- 检查点
- 保存点
- 状态后台
- 调整检查点和大状态
- 配置
- 生产准备清单
- 命令行界面
- Scala REPL
- Kerberos 身份验证设置和配置
- SSL 设置
- 文件系统
- 升级应用程序和 Flink 版本
- 调试和监控
- 度量
- 如何使用日志记录
- 历史服务器
- 监控检查点
- 监测背压
- 监控 REST API
- 调试 Windows 和事件时间
- 调试类加载
- 应用程序分析
- 使用 Java Flight Recorder 进行性能分析
- 使用 JITWatch 进行分析
- Flink Development
- 将 Flink 导入 IDE
- 从 Source 建立 Flink
- 内幕
- 组件堆栈
- 数据流容错
- 工作和调度
- 任务生命周期
- 文件系统
- 实现
- 坚持保证
- 更新文件内容
- 覆盖文件
- 线程安全
文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
检查点
概览
检查点通过允许恢复状态和相应的流位置使 Flink 中的状态容错,从而为应用程序提供与无故障执行相同的语义。
有关如何为程序启用和配置检查点的信息,请参阅 检查 点。
保存检查点
默认情况下,检查点不会保存,仅用于从失败中恢复作业。取消程序时会删除它们。但是,您可以配置要保存的定期检查点。根据配置 ,当作业失败或取消时, 不会 自动清除这些 保存的 检查点。这样,如果您的工作失败,您将有一个检查点可以从中恢复。
CheckpointConfig config = env.getCheckpointConfig();
config.enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
该 ExternalizedCheckpointCleanup
模式配置取消作业时检查点发生的情况:
ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION
:取消作业时保存检查点。请注意,在这种情况下,您必须在取消后手动清理检查点状态。ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION
:取消作业时删除检查点。只有在作业失败时,检查点状态才可用。
目录结构
与 保存点 类似,检查点由元数据文件和一些其他数据文件组成,具体取决于状态后台。元数据文件和数据文件存储在 state.checkpoints.dir
配置文件中配置的目录中,也可以为代码中的每个作业指定。
通过配置文件全局配置
state.checkpoints.dir: hdfs:///checkpoints/
在构造状态后台时为每个作业配置
env.setStateBackend(new RocksDBStateBackend("hdfs:///checkpoints-data/");
保存点的差异
检查点与 保存 点有一些差异。他们
- 使用状态后台特定(低级)数据格式,可以是增量式的。
- 不支持 Flink 特定函数,如重新缩放。
从保存的检查点恢复
通过使用检查点的元数据文件,可以从检查点恢复作业,就像从保存 点恢复一样 (请参阅 保存点恢复指南 )。请注意,如果元数据文件不是自包含的,则 JobManager 需要访问它所引用的数据文件(请参阅 上面的 目录结构 )。
$ bin/flink run -s :checkpointMetaDataPath [:runArgs]
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论