当前位置:网站首页>走好数据中台最后一公里,为什么说数据服务 API 是数据中台的标配?
走好数据中台最后一公里,为什么说数据服务 API 是数据中台的标配?
2022-06-23 15:43:00 【51CTO】
原文链接: 走好数据中台最后一公里,数据服务 API 是数据中台的标配
视频回顾: 点击这里
课件获取: 点击这里
一、数据服务 API 建设背景
在数字化转型的时代背景下,新需求的大量增长、新技术的不断迭代,“互联网化、数字化” 进程的不断深入,越来越多的业务被迁移到互联网上,产生大量的业务交互和对外服务需求,对 API 接口的需求与日俱增,如何快速提升企业数据开放共享能力,是企业面临数字化转型的关键命题。

传统的方式如后端开发人员通过 Java 或 Python 等语言进行编写来生成 API 接口,开发周期过长,运维成本太高,已经不能满足企业的需求。企业在数字化转型过程往往面临诸多难题:

为了更多的解决这些问题,我们在企业开放、共享数据过程中需要确定以下目标:
- 快速构建 API
- 系统稳定、数据安全
- 易于集成使用
- 授权交付
- 低成本运维

二、数据服务平台建设方法论
在分享数据服务平台建设方法论之前,我们先了解一下常见的数据中台应用架构:

数据服务层作为数据中台整体应用架构中处于中间地位,将数据计算层的结果通过数据 API 的形式对外共享给数据应用层。数据服务层主要有 3 个作用:
1、当数据已被整合和计算好之后,需要提供给产品和应用进行数据消费;
2、为了有更好的性能和体验,构建数据服务层,通过接口服务化方式对外提供数据服务;
3、满足应用各种复杂的数据服务需求(简单数据查询服务、复杂数据查询服务、实时数据推送)
而在数据服务层对外提供服务的过程中,经历了从 **“DWSOA” 到 “OneService”** 的演变过程。

从 “OneService” 数据服务本身来说,主要是解决异构数据源、重复建设、审计运维困难、理解困难这 4 个问题,通过 “OneService” 服务,实现主题式数据服务、统一且多样化数据服务、跨源数据服务的服务目标。
因此,若想构建一个完整的数据服务平台,需要具备以下 6 个要素:
- 便捷开发,具备低代码化的开发能力
- 易于管理,API 管理操作可视化查询 API
- 易于使用,具备规范化的文档描述信息
- 安全稳定,服务调用追踪监控、服务使用审计、鉴权等
- 易于运维,测试、纠查、问题规则配置
- 性能,负载均衡、高并发
三、基于 OneService 构建数据体系
了解完 “OneService” 理论,接下来为大家分享如何基于 OneService 构建数据体系,主要遵循以下步骤:

● 第一步:API 定义
API 的定义包括:快速配置参数、选择排序字段、API 类型多样性、数据预览、复制字段等方面。

API 的类型又包括生成 API、注册 API、服务分组及服务编排这 4 个方面。


● 第二步:API 发布
API 的发布包括测试、提交至 API 网关、发布至 API 市场、版本管理这几个方面。

● 第三步:API 调用
API 调用包括数据预览、API 申请、审批、下载接口文档、正式调用这几个方面。

● 第四步:调用监控
业务上:对 API 调用的统计数据进行深入的分析,进而得出关键信息;
技术上:通过 API 调用的统计图表进行分析可以发现,哪些 API 最受欢迎;而哪些几乎无人问津,应该被淘汰;
安全上:对调用 IP、调用次数进行监控,对调用者进行溯源。

● 第五步:数据安全
数据安全包括:统一认证鉴权、传输加密、安全组、角色分配、行级权限、调用审批等。

上述的数据服务 API 的建设过程,其实正是袋鼠云自研的数栈数据服务 EasyAPI 产品的落地实践过程。
数据服务(EasyAPI),高效的企业级数据服务产品,通过双模式可视化配置生成与注册 API,快速构建 OneService 数据共享服务,形成企业级的 API 市场和 API 服务管理平台,提高数据开放与共享效率。

同时产品具备以下特点:
- 快速构建
配置即开发,支持 0 代码、低代码快速构建 API
- 安全性高
用户认证、监控、传输加密、API 级别安全策略、行级权限、角色分配、调用申请审批、调用周期次数的限制、黑白名单
- 灵活度高
“服务编排 “可对不同的 API 进行组合,支持集成 python 进行数据处理、支持 “条件判断” 节点,选择符合条件的分支
- 配置灵活
横向拓展 API 网关、缓存
- 低成本运维
采用 Serverless 架构,只需关注 API 本身的业务逻辑,很少考虑运行环境等基础设施
四、API 实施落地案例
接下来我们分享三个使用客户的实际案例,为大家介绍 EasyAPI 如何切实的帮助客户解决问题。
● 金融:某证券公司应用数据服务

● 学校:某大学应用数据服务

● 零售:某网络公司应用数据服务

袋鼠云开源框架钉钉技术交流qun(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址: https://github.com/DTStack
边栏推荐
- 【TcaplusDB知识库】TcaplusDB新增机型介绍
- Leetcode 450. Delete node in binary search tree
- Readimg: read picture to variable variable variable
- 将vscode打造无敌的IDE(14) tasks.json和launch.json配置详解,随心所欲添加自动化任务
- npm 如何发包 删包
- 科大讯飞神经影像疾病预测方案!
- stylegan3:alias-free generative adversarial networks
- Avoid these six difficulties and successfully implement MES system
- 进阶开发阶段-势若悬丝的加粗开始. 现在的一小步,明年的一大步
- stylegan2:analyzing and improving the image quality of stylegan
猜你喜欢

npm install 问题解决(nvm安装与使用)

【TcaplusDB知识库】Tmonitor系统升级介绍

Solution: in the verification phase, the first batch does not report errors, and the second batch reports CUDA exceeded errors

2022九峰小学(光谷第二十一小学)生源摸底

Quartz

二分查找法思路分析
![leetcode:30. Concatenate substrings of all words [counter matching + pruning]](/img/a2/91ccaec4cc3dab27c566184b74e561.png)
leetcode:30. Concatenate substrings of all words [counter matching + pruning]

Apache commons tool class

golang冒泡排序代码实现
![[tcapulusdb knowledge base] Introduction to tmonitor stand-alone installation guidelines (I)](/img/7b/8c4f1549054ee8c0184495d9e8e378.png)
[tcapulusdb knowledge base] Introduction to tmonitor stand-alone installation guidelines (I)
随机推荐
[tcapulusdb knowledge base] Introduction to tmonitor background one click installation (I)
【解决】npm WARN config global `--global`, `--local` are deprecated. Use `--location=global`
Web篇_01 了解web開發
[tcapulusdb knowledge base] Introduction to tmonitor stand-alone installation guidelines (I)
二分查找法思路分析
stylegan3:alias-free generative adversarial networks
Server deployment and instructions
Tips for accelerating file transfer between windows remote desktop connections
Avoid these six difficulties and successfully implement MES system
Tableau comparatif du nom de la clé ADB, du numéro du Code de la clé et de la description de la clé
Quartz
Web篇_01 了解web开发
js 对象 使用小技巧
Reading and writing JSON files by golang
How does the web container initialize third-party plug-ins
openGauss数据库源码解析系列文章—— 密态等值查询技术详解(上)
坚持五件事,带你走出迷茫困境
Matlab: how to know from some data which data are added to get a known number
MES在流程和离散制造企业的15个差别(上)
Batch registration component