首页 > 编程知识 正文

即席查询框架,即席查询平台

时间:2023-05-04 22:40:58 阅读:274560 作者:2004

Druid :

列式分布式实时分析的数据存储系统,
处理PB级数据、毫秒级查询、数据实时处理,
比传统的OLAP系统有了明显的性能改进

阿里巴巴开源的项目 官网:http://druid.io
阿里还有一个druid数据库连接池的框架,解决的是不同的问题

特点:
1.)列式存储结构 查询速度很快
2.)可扩展的分布式系统,每秒几百万条数据
3.)大规模的并行处理
4.)实时或批量处理
5.)自愈、自平衡、易操作:集群扩展或缩小,只需要添加或者删除服务器
集群将会在后台自动重新平衡,无需任何停机时间
6.)数据进行有效的预聚合和预计算,查询速度快
7.)数据结果运用了Bitmap压缩算法

应用场景:

1.) 适用于清洗好的记录实时录入,但不需要更新操作
2.)适用于支持宽表,不用join的操作(就是一张单表)
3.)适用于可以总结出基础的统计指标,用一个字段表示
4.)适用于对实时性要求比较高的场景
5.)适用于对数据质量敏感度不高的场景

ES使用倒排索引解决索引问题,ES在数据获取和聚集用的资源比Druid高

框架选型:
查询效率:Druid>Kylin>Presto>Sparksql
数据源的种类:Presto>Sparksql>Kylin>Druid

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。