首页 > 编程知识 正文

分析数据,大数据查询软件

时间:2023-05-05 23:54:30 阅读:53328 作者:4394

大数据查询解决方案:分区表、预统计、预查询缓存、数据仓库大数据计算

1 .分库分表方案说明:查询少、查询频率多的数据按一定规则分批保存。

挑战:

冷热数据分组统计排序查询可以通过中间件sharding-jdbc/mycat解决合适的冷热数据分割规则,在时间、客户等进行分割大数据量查询时,会消耗大量的CPU和内存。 提前统计方案说明:按日、月提前将领先数据、补充数据分组统计。

事前统计维:年月日/年月、供应链、工厂、机器编号、商品编号、成本中心、销售类型、仓库编号

挑战:

数据漂移问题是,要更新根据漂移数据分组的统计数据以修改价格和4位小数,必须同时修改价格。 虽然每月统计信息无法修改价格,但数量统计信息可能会随着时间的推移而增加,并且需要重新统计,以便应用于最终不更改记录的场景

3 .预查询缓存方案说明:对非实时统计接口使用预查询合并缓存,提前统计查询交易数据并将结果放入缓存,同时定时任务定时刷新缓存数据。

挑战:

大数据查询会消耗大量的CPU和内存。 缓存的数据量大会影响redis的读/写并发性。 (数据量越大,读/写时间越长,redis为单线程。 )4.数据仓库大数据计算方案说明:

将数据存储在数据仓库中,并利用数据仓库的大数据查询能力快速将统计查询分组。 使用大数据计算引擎加工(聚合、清洗)处理数据的特点:

大数据查询速度(毫秒级)适用于大数据分析、BI等数据以及业务元数据存储,适用于不常查询的业务

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。