数据集成的两种架构：ELT和ETL

数据集成的两种架构：ELT和ETL

集成是数据工程师要做的工作之一。一般来说，数据工程师的工作包括了数据的ETL和数据挖掘算法的实现。算法实现 可以理解，就是通过数据挖掘算法，从数据仓库中找到“金子 什么是ETL呢？ ETL是英文Extract. Transform和Load的缩写，顾名思义它包括了数据抽取、转换、加载三个过程。ETL可 以说是进行数据挖掘这项工作前的"备菜"过程。

我来解释一下数据抽取、转换、加载这三个过程。

ETL的过程为提取（Extract）——转换（Transform）——加载（Load）,在数据源抽取后首先进行转换，然后将转换的结果写入 目的地。

ELT的过程则是提取（Extract）—加载（Load）——变换（Transform）,在抽取后将结果先写入目的地,然后利用数据库的聚 合分析能力或者外部计算框架，如Spark来完成转换的步骤

目前数据集成的主流架构是ETL ,但未来使用ELT作为数据集成架构的将越来越多。这样做会带来多种好处:

ELT和ETL相比，最大的区别是"重抽取和加载,轻转换"，从而可以用更轻量的方案搭建起一个数据集成平台。使用ELT 方法，在提取完成之后,数据加载会立即开始。一方面更省时，另一方面ELT允许BI分析人员无限制地访问整个原始数 据，为分析师提供了更大的灵活性，使之能更好地支持业务。