当前位置:网站首页>Flink checkPoint和SavePoint
Flink checkPoint和SavePoint
2022-06-24 09:46:00 【少年鹿】
savepoint和checkpoint都是flink为容错提供的强大功能特性,能够自动或手动保存job的运行状态
两者区别
checkpoint:
应用定时触发,用户保存状态,会过期,内部应用失败重启的时候启用,但是手动cancel时,会删除之前的checkpoint
savepoint:
用户手动置顶,相当于状态的备份,可以在bin/flink cancel xx的时候调用,一般用于修改并行度,程序升级等等。
如果想要在程序停掉后重启,数据一致的情况下,强烈推荐使用cancel时做savepoint,当然如果程序中没有涉及到state,可以不用
触发savepoint
触发有2种方式:
1)直接触发===>bin/flinksavepointjobId [targetDirectory] [-yid yarnAppId] 针对yarn模式需要指定 -yid参数
2)cancel/stop时触发===> bin/flinkcancel/stop-s [targetDirectory] jobId [-yid yarnAppId]。针对yarn模式需要指定 -yid参数
Checkpoint解读
在Flink分布式计算中,容错往往是值得关注的点,Flink本身通过Checkpoint操作进行快照处理,保证job执行的稳定性以及Failover的可靠性。checkpoint不会打断stream、data-flow。

在Checkpoint中有个很关键的要素:barriers
- barrier将stream中的record划分不同的checkpoint段,barrier不会超过record,严格排在数据的后面
- 每个barrier都会携带相应的ID,来区分相应的快照snapshot(checkpoint)
- 不同checkpoint的barrier可以在stream中并行传输,意味着相同时间可以并行执行快照操作
边栏推荐
- 利用pandas读取SQL Sever数据表
- 1. project environment construction
- 学习使用KindEditor富文本编辑器,点击上传图片遮罩太大或白屏解决方案
- 卷妹带你学jdbc---2天冲刺Day1
- p5.js千纸鹤动画背景js特效
- Floating point notation (summarized from cs61c and CMU CSAPP)
- 学习使用php对字符串中的特殊符号进行过滤的方法
- leetCode-面试题 01.05: 一次编辑
- 411-栈和队列(20. 有效的括号、1047. 删除字符串中的所有相邻重复项、150. 逆波兰表达式求值、239. 滑动窗口最大值、347. 前 K 个高频元素)
- leetCode-2221: 数组的三角和
猜你喜欢
随机推荐
Using pandas to read SQL server data table
正规方程、、、
静态链接库和动态链接库的区别
tf.contrib.layers.batch_norm
上升的气泡canvas破碎动画js特效
Learning to organize using kindeditor rich text editor in PHP
微信小程序rich-text图片宽高自适应的方法介绍(rich-text富文本)
SQL Server AVG function rounding
numpy.logical_or
tf. errors
Distributed | how to make "secret calls" with dble
Nvisual digital infrastructure operation management software platform
包装类型与基本类型的区别
Web site development, lazy image loading
dedecms模板文件讲解以及首页标签替换
微信小程序學習之 實現列錶渲染和條件渲染.
引擎国产化适配&重构笔记
机器学习——主成分分析(PCA)
leetCode-498: 對角線遍曆
Detailed explanation of PHP singleton mode









