OLAP ——Druid简介

目录

背景

特性

基本概念

设计原则

数据格式

数据摄入

数据查询

适用场景

---

背景

Druid是一个分布式的支持实时分析的数据存储系统。通俗点说：就是一个高性能实时分析数据库。2011年，由美国广告技术公司MetaMarkets创建，并于2012年开源。官网地址是：http://druid.io/。目前Druid已基于Apache License 2.0协议开源，正在由Apache孵化，代码托管于Github。最新官网地址为：https://druid.apache.org/

（注意：阿里曾开源过一个项目叫做Druid是一个数据库连接池。与这里讲的Driud仅仅是名字一样而已，并没有什么关联。）

特性

1.快速查询

内存化的数据存储提高了druid的查询速度，提供了快速的聚合能力以及快速OLAP查询能力，多租户的设计，是面向用户分析应用最理想的方式。druid的数据聚合粒度可以是1分钟，5分钟，1小时或者1天等。

2.实时数据注入

druid支持实时流式数据的注入，并提供了数据的事件驱动，保证在实时和离线环境下事件的时效性和统一性。典型的 Lambda 架构，不改变历史数据，实时接入实时数据。

3.可扩展的PB级存储

可扩展的分布式架构，druid集群可以很方便的扩容到PB的数据量，每秒百万级别的数据注入。即便在加大数据规模的情况下，也能保证其时效性。druid可以按照时间范围把聚合数据进行分区处理。

4.云原生架构，高容错性：

druid既可以运行在商业的硬件上，也可以运行在云上。它可以从多种数据系统中注入数据，包括hadoop，spark，kafka，storm和samza等。

基本概念

设计原则

1.快速查询（Fast Query） : 部分数据聚合（Partial Aggregate） + 内存化（In-Memory） + 索引（Index）

2.水平拓展能力（Horizontal Scalability）:分布式数据（Distributed data）+并行化查询（Parallelizable Query）

3.实时分析（Realtime Analytics）：Immutable Past , Append-Only Future

数据格式

druid在数据摄入之前，首先需要定义一个数据源也就是Datasource，这个dataSource的结构是 时间列（TimeStamp），维度列（Dimension）和指标列（Metric）。

时间列：druid会将时间相近的一些数据聚合在一起，查询的时候指定时间范围。

维度列：作为标识一些统计的维度，比如各种类型。

指标列：就是用于聚合和计算的列，包括count，sum等等。

数据摄入

druid提供了两种数据摄入方式，实时和批处理。

数据查询

druid支持两种查询，原生和sql

适用场景

根据Druid的特性可知，druid适合的数据场景：

• 查询多修改很少

• 查询以聚合或分组为主

• 快速查询

• 需要支持离线和实时的数据源·

具体的业务场景：

• 用户行为分析

• 服务性能指标实时监测

• 数字营销

• 商业智能/ OLAP