当前位置:网站首页>数仓:金融级数仓架构转型的最佳实践(下篇)
数仓:金融级数仓架构转型的最佳实践(下篇)
2022-08-02 15:08:00 【Freedom3568】
简介
前面我们在文《数仓:金融数据仓库架构转型的最佳实践》中介绍了 Kyligence 金融数据仓库迁移的整体方法论以及在某国有大行项目的最佳实践。本篇将对数据仓库迁移方法论中最为核心的脚本迁移过程进行深入剖析,从血缘分析、数据库对象迁移、ETL 脚本迁移和数据验证等具体环节详细介绍数仓迁移过程中的落地方法以及迁移自动化的挑战及实现。
迁移挑战
脚本(主要包括数据库对象和 ETL 脚本)是数据仓库的核心内容,数据仓库的日常运行和有机生长都是依托脚本来实现的。
因此,脚本迁移方案是数据仓库整体迁移方案的重中之重,如何保障脚本本身以及脚本所内含的数据加工逻辑能够被正确、高效的迁移,是整个迁移项目最有挑战的地方,其难度主要体现在几个方面:<
边栏推荐
猜你喜欢
随机推荐
ROS 之 KUKA iiwa编程
如何用JDBC操作Mysql
23、wpf之布局(一)
美团面试:如何设计一个注册中心?
QT基础第四天(4)qt事件机制:事件基础概念,常见事件机制,事件处理以及事件的重写
A status code, and access baidu process
SQL学习笔记——REGEXP运算符
SQL实现将多行记录合并成一行
622. 设计循环队列 : 数组模拟循环队列
高并发 MySQL 性能优化指南,自取
redis学习四redis消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU
Qt | 关于对象树和元对象的相关问题
CS5210的参数详情资料分享
MySQL 的几种碎片整理方案总结(解决delete大量数据后空间不释放的问题)
Brute-force cracking of the latest JVM interview questions of Meituan: unlimited execution
Qt | 控件之 QComboBox
go——协程调度
VLAN实验
Traverse Heap PAT Class A 1155 Heap Path
Drag and Drop in H5









