六千字详解 Flink checkpoint 执行流程及优化方案
发布时间：2024-01-05 10:00
大家好，我是土哥。
今天为大家带来 Flink checkpoint 核心知识点以优化方案，本文主要从以下几方面进行介绍：
1 Checkpoint 执行流程
2 checkpoint 执行失败问题分析
3 非对齐checkpoint 优化方案
4 动态调整 buffer 大小
5 通用增量快照
1 checkpoint 执行流程
![\"六千字详解](\"https://img.it610.com/image/info8/8e6a2b1e82914cfb8373ab5f31b21b5e.jpg\")
如上图所示，chechpoint 在执行过程中，可以简化为可以简化为以下四大步：
![\"六千字详解](\"https://img.it610.com/image/info8/9d9cae10d1e34a0c8340f86321ea13be.png\")
- 在数据流中插入 checkpoint barrier；
- 每执行到当前算子时，对算子 state 状态进行同步快照与异步上传；
- 当算子是多输入时，要进行 barrier 对其操作；
- 所有算子状态都已上传，确认 checkpoint 完成；
2 checkpoint 执行失败问题分析
我们知道，Flink 机制是基于 Chandy-Lamport 算法实现的 checkpoint 机制，在正常情况下，能够实现对正常处理流程非常小的影响，来完成状
相关推荐
猿创征文｜基于反事实的因果推理Causal inference based on counterfactuals--一万六千字文献详细解读（因果关系的推理应用）【全文总结】
@FeignClient注解中属性contextId的使用说明
论文解读：《功能基因组学transformer模型的可解释性》
报错“Cannot read properties of null (reading ‘addEventListener‘)“
【CTF题解NO.00009】CISCN2021-初赛-pwn write up by arttnba3
MyBatis在注解上使用动态SQL方式(@select使用if)
【Pytorch-＞ONNX-＞NCNN-＞NCNNfp16-＞vs编译】Windows NCNN部署