Flink-独立集群/Yarn

1.Flink独立集群

1.1 不需要依赖任何框架独立运行

start-cluster.sh
stop-cluster.sh
master:8081

1.2 flink 提交任务的方式（两种）

1、将项目打包在网页上提交，可以指定主类和并行度
2、将jar包上传到集群使用flink命令提交

指定主类和包名，本地不打印日志，看不到结果
flink run -c com.shujia.core.Demo1WordCount flink-1.0.jar

2.Flink on Yran

1.启动hadoop
2.提交到yarn运行

2.1 Application Cluster Mode

这种提交方式主要为了让flink能让在k8s上运行

1.为每一个flink任务在yarn上启动一个集群，提交的任务在jobmanager上运行，数据流程图在jobmanager中构建
2.打包--上传--命令提交任务
flink run-application -t yarn-application -c com.shujia.flink.core.Demo2Submit  flink-1.0.jar
3.查看任务列表
flink list -t yarn-application -Dyarn.application.id=application_1658757025010_0001
4.关闭任务    
flink cancel -t yarn-application -Dyarn.application.id=application_1654846044068_0002 52b325d666be767b24698f459bb5dda9
最后指定flink任务id

2.2 Per-Job Cluster Mode

1.为每一个flink任务在yarn上启动一个集群, 每一个任务启动一个jobmanager,在本地构建数据流程图，再将数据流程图提交到jobmanager中运行
2.分离模式（--detached或者-d），提交任务： 客户端提交成功之后会退出，否则占用客户端
flink run -t yarn-per-job --detached -c com.shujia.flink.core.Demo2Submit   flink-1.0.jar
3.查看任务列表：
flink list -t yarn-per-job -Dyarn.application.id=application_1654846044068_0003
4.取消flink任务
flink cancel -t yarn-per-job -Dyarn.application.id=application_1654846044068_0003 86d6973d3d79a7040bfdf75b7cad88d0
5.杀死yarn上的任务
yarn application -kill application_16525402150_0001

2.3 Session Cluster Mode（测试多用）

1.先在yarn中启动一个flink的集群(分离模式)，等到申请资源，会返回一个网页
  yarn-session.sh -d
2.再通过命令将任务提交到这个集群中运行,可以在网页中提交，而且可以提交多个任务,所有的任务共享同一个jobmanager
flink run -t yarn-session -Dyarn.application.id=application_1654852007237_0008  -c com.shujia.core.Demo12ValueState  flink-1.0.jar
3.退出yarn-session(直接杀死yarn任务)
yarn application -kill application_1654846044068_0004

3. 区别

Application Mode:  每一个任务启动一个集群，任务之间互不影响，在jobmanager中构建JobGraph 

Per-Job Cluster Mode：每一个任务启动一个集群，任务之间互不影响，在本地构建JobGraph 再将JobGraph 提交到jobmanager中运行

Session Mode: 通过sessIon模式提交的任务共用同一个集群（同一个jobmanager），如果有一个任务执行出了问题，可能会影响其它任务，一般Session 用来测试使用，因为占用的资源要少一点, 在提交任务时在动态申请taskmanager