首页 > 编程知识 正文

物联网数据处理模型有,工业物联网的关键技术有哪些

时间:2023-05-03 09:59:04 阅读:174032 作者:3674

在物联网中,需要实时处理的数据可以通过队列发送到流处理引擎; 不需要实时处理的数据,为了离线分析和数据挖掘,首先需要保存。 物联网的数据存储方式很多,必须根据实际场景进行选择。

物理网络系统的各种存储选择

物联网的数据主要由传感器采集,经过分析和清洗,以结构化的形式存储。 如果数据量很少,关系数据库(如mysql )可以满足我们的需要。 如果经常需要报告统计信息,也可以使用nosql数据库,如clickhouse、greenplum等。

物联网数据具有特殊性,与传统的网络APP不同,除了网络APP中常用的数据库外,可以结合物联网系统的数据特点,设计专用的数据存储系统

物联网数据特征数据写入

物联网数据写入具有平稳、持续、高合并高吞吐量的特点; 通常泛读很少,传感器实时写入最近生成的数据,几乎没有数据更新的操作。

数据查询和分析

物联网数据一般需要按时间范围读取,系统用户不关注某一特定点的数据,而关注一定时期的数据; 时间相近的数据被读取的概率较高,而查询粒度较细、时间较远的数据被读取的概率较低,在查询粒度较粗的大多数情况下,物联网需要支持多精度的数据查询和多维数据分析。数据存储

物联网数据存储量大的数据冷热分明,时效不同对数据查询的需求也不同; 数据存储也通常按时间维度聚集,以实现许多精确的数据存储。

时间序列数据库的物联网数据具有特征,因为各数据都带有表示数据被收集时间的时间戳,所以物联网类的数据是时间序列数据。

时序数据库特别适用于时序数据的存储,例如网络运维行业常用的Prometheus是基于leveldb引擎的时序数据库。 rqdhlg,时序数据库是存储时序数据的数据库,支持时序数据的快速写入、持久化、多维聚合查询等功能。

第一个时间序列数据库是rrdtool(roundrobindatabasetool ),由Tobias Oetiker编写,之后世界各地的人都应该为代码做出了贡献。

rd保存数据的文件像圆一样

rdtool数据库用固定大小的数据文件保存数据。 文件的大小不会像传统数据库那样随数据的增长而增加。 RRDTool在创建后,文件大小是固定的。

RRDTool的数据文件可以看作一个圆,圆的大多数直径是将圆分成一个个扇形,每个扇形是可以存储数据的槽位,每个槽位都带有时间戳。

圆心有一个指针,在随时间检索数据后,指针负责用数据填充相应的插槽。指针旋转360度将复盖第一个数据,RRDTool循环填充数据。

在RRDTool数据库之后,出现了许多开源数据库。

过去公开的开源时间序列数据库:

1999/07/16 rrdtool第一次发行

•2009/12/30 Graphite 0.9.5

•2011/12/23 OpenTSDB 1.0.0

2013/05/24 kairos db 1.0.0-beta

•2013/10/24 InfluxDB 0.0.1

•2014/08/25 Heroic 0.3.0

2017/03/27时间尺度db 0.0.1-beta

2016年以后,随着物联网市场的发展,时序数据库也应运而生。 2016年7月,百度云在其天工物联网平台上发布国内首款多租户分布式时序数据库产品TSDB; 2017年2月Facebook开放源代码Beringei时间序列数据库2017年4月基于PostgreSQL构建的时间序列数据库TimeScaleDB也已开放源代码。

根据存储的底层技术,可以将时间序列数据库大致分为三类。

基于文件的存储: RRDTool、Graphite Whisper。 此类常用于服务监视警告,数据存储存储基于RRD的文件结构。 基于K/V数据库: opentsdb基于hbase,kairosDB基于cassandra,prometheus基于leveldb, influxdb选择与逻辑矩阵树(LSM )树)相似的独特KV存储结构的关系数据库:还将时序数据存储在MySQL、PostgreSQL等关系数据库中时间序列数据是基于时间的数据。 在以时间为轴的坐标系中将这些数据点连接起来,生成多维报告,可以明确历史数据的倾向性、规律性、异常性; 还可以加大数据分析、机器学习,实现对未来的预测和预警。 时序数据库为时序数据的归纳和分析提供了存储基础,在物联网蓬勃发展的今天,它将得到越来越广泛的应用。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。