Kettle实现共享数据库连接及插入更新组件实例

常用组件

1、共享数据库连接

新建的数据库连接都只属于某一个转换程序

如果你想让所有的转换程序都能使用这个连接，需要开启共享

2、表输入组件

• 需求∶将表中的数据，同步到另一张这张表中。

• 分析

  • 这是一个转换任务
  • 输入︰读取表的数据
  • 转换 : 没有转换过程
  • 输出 : 将结果写入表中

• 实现

  • 开发程序

    

  • 配置输入

    先配置数据库连接共享

    

    

    

  • 配置输出

    

    

    

  • 测试运行

    

    

3、插入更新组件

• 工作需求∶将A表的数据同步到B表中，保证B表的数据与A表的数据一致，实现是不断更新的操作

  • A表发生了更新，更新的数据也会同步到B表中
  • A表没有发生更新，即使程序运行，B表也不发生改变
  • 数据同步的过程
    • 每次只同步更新的数据
    • 已经同步过的数据，就不会再进行同步
  • 工作中一般一天会同步一次，程序就每天执行一次

• 解决∶插入更新的输出组件

• 功能 : 只会同步发生更新的数据，已经同步过的数据不会再次同步

  • 数据更新
    • 插入一条新的数据
    • 修改一条老的数据

• 实现 : 任何时候，两张表的数据同步是一致的

  • 开发转化任务流程图

    

  • 定义输入

    与之前步骤一致

    

  • 定义插入 / 更新

    

    

    只以id来做比较

    

    

  • 测试运行

    

    修改原表数据或增加，再执行一次，自动进行更新

总结

本文主要两个知识点：

1. 共享数据库连接
2. 插入更新组件

• 同步业务
  • 全量︰每次将所有的数据都同步一份
    • 保证A和B是一致的
      • 每次先删除B所有内容，然后，再同步
    • 程序的性能比较差，数据量大了以后，非常慢，不建议使用
    • 表输出︰全量的组件
  • 增量︰每次将发生更新的数据同步，没有发生更新就是已经同步过的数据不再同步
    • 保证A和B是一致的
    • 工作中都使用增量的方式
    • 插入更新︰增量的组件

以上两个知识点非常贴合和适用于在工作场景中，还可以跟作业搭配，一逸永劳