支持在 Kubernetes 运行，添加多种连接器，SeaTunnel 2.1.2 版本正式发布！

在 Apache SeaTunnel(Incubating) 2.1.1 发布后一个月左右的时间里，社区接受了来自全球的团队或个人累计近百个PR，为大家带来 2.1.2 版本。该版本提高了稳定性，并在功能、文档、示例等方面得到优化。

本文将为大家介绍 Apache SeaTunnel (Incubating) 2.1.2 版本更新内容。

• Release Note:

  https://github.com/apache/incubator-seatunnel/blob/2.1.2/release-note.md

• 下载地址：https://seatunnel.apache.org/download

01 主要功能更新

添加Webhook和Http2种连接器，主要增强Http相关数据处理能力。

特别感谢tmljob同学的贡献。

01 Webhook

用户可以通过该连接器实现任务的调度，事件的调度，数据的推送等各式各样的实用功能，只需输出端提供Http服务能力的支持即可。

详情见https://seatunnel.apache.org/docs/2.1.2/connector/source/Webhook

02 Http

支持读取Http接口数据，为上游提供通过Http完成数据传输到SeaTunnel做进一步处理的能力，Http是一个通用标准的接口，可以通过这种方式完成各种业务的接入。使用方式如下：

Http {   url = "http://date.jsontest.com/"   result_table_name= "response_body"  }

FlinkSQL模块添加了Kafka和ElasticSearch连接器，现在SeaTunnel可以用SQL来读取写入这些数据源的数据了。

Transfrom方面添加了UUID和Replace的支持，可以更加灵活地对数据进行简单处理。同时支持了自定义函数的添加，帮助用户实现各种自定义业务逻辑。

03 支持在Kubernetes上运行SeaTunnel

Kubernetes已经成为云原生时代的必备组件，SeaTunnel自然需要提供对应的支持。

官方适配SeaTunnel运行在Kubernetes，教程见

https://seatunnel.apache.org/docs/2.1.2/start/kubernetes

02 具体更新内容

01 [Connector]

• 添加Spark webhook connector的支持

• 优化Connector的Jar包结构

• 添加Spark Replace transform组件

• 添加Spark Uuid transform组件

• Flink的JDBC source添加了对Oracle适配

• 添加Flink HTTP connector的支持

• 添加Flink注册自定义函数功能

• Flink SQL模块添加Kafka和ElasticSearch connector的支持

02 [Core]

• 添加Flink application运行模式支持

• 支持Flink配置的动态添加

03 [Bug Fix]

• 修复Clickhouse Sink组件部分类型转换问题

• 修复部分情况下Spark运行脚本第一次会运行失败的问题

• 修复部分情况下在Spark on yarn cluster模式无法获取配置文件问题

• 修复Spark extraJavaOptions 不能为空的问题

• 修复Spark standalone cluster模式下无法解压内部文件问题

• 修复Clickhouse Sink无法正常处理多节点配置问题

• 修复Flink SQL配置解析错误

• 修复Flink JDBC Mysql类型匹配不全的问题

• 修复变量在Flink模式下无法设置的问题

• 修复SeaTunnel在Flink模式下配置无法检查的问题

04 优化

• 升级Jackson版本至12.6

• 添加部署SeaTunnel到Kubernetes的向导

• 调整部分泛型类型代码

• 添加Flink SQL e2e模块

• Flink JDBC connector 添加pre sql和post sql特性

• 使用@AutoService生成SPI文件

• Flink FakeSourceStream支持mock数据

• 支持通过Flink JDBC connector读取Hive数据

• ClickhouseFile支持ReplicatedMergeTree引擎

• 支持Hive sink保存ORC格式数据

• 支持Spark Redis sink自定义过期时间

• 添加Spark JDBC事务隔离级别配置

• 用Jackson替换代码里的Fastjson

03 致谢

感谢以下参与贡献的同学(为 GitHub ID，排名不分先后)，正是大家的付出与努力，让我们能够快速推出这个版本，也欢迎更多的同学参与到 Apache SeaTunnel(Incubating) 社区贡献中。

v-wx-v, GezimSejdiu, zhongjiajie, CalvinKirs, ruanwenjun, tmljob, Hisoka-X, 1996fanrui, wuchunfu, legendtkl, mans2singh, whb-bigdata, xpleaf, wuzhenhua01, chang-wd, quanzhian, taokelu, gleiyu, chenhu, dijiekstra, tobezhou33, LingangJiang, mosence, asdf2014, waywtdcc, Emor-nj, dik111, forecasted