首页 > 编程知识 正文

海量数据如何存储(hbase存储海量小文件)

时间:2023-05-04 02:47:06 阅读:75498 作者:3777

高清、长周期呈现海量存储需求

高清在安全行业全面普及。 除了给用户清晰可见的良好视觉体验外,对存储容量的需求也呈几何增长。 例如,前端IPC有130W到500W的像素,码流也有2Mbps到8Mbps。 相反,在130瓦像素、8Mbps码流的前端,录制一个月就需要2531.3GB。 数据量不容小觑。

在存储周期方面,目前也有政府的强大推动力。 当前,对于整个安防市场来说,特别是大公安、大交通、楼宇、司法监察所、金融、文教卫、能源项目等行业发展迅速,甲方客户需求和大集成商存储解决方案越来越集中。 应该保存的数据也在直线增加。 为了应对如此巨大的数据量,数据存储和客户数据的快速高效查询至关重要。 根据行业发展方向,海康致力于提供符合用户和行业需求的监控和数据中心解决方案。

现有的安防存储模式

1. DVR/NVR前端本地存储

该模型通常用于使用DVR/NVR前端本地存储实施早期项目,但随着大数据时代的到来,采用了将扩展机柜直接连接到DVR/NVR以实现容量扩展的相对直接的方法。 原始系统和原始数据保持不变。 由于该模型使用的是DVR/NVR,因此存储容量相对较小,DVR/NVR性能较低,孤立信息严重,无法满足大数据需求。

2 .集中存储模式

客户的数据处于磁盘阵列模式。 可以采用在存储节点之后直接添加扩展机柜的模型,也可以通过随着群集的推出添加存储节点来实现容量的增加。 与DVR/NVR机型相比,容量大幅提高,实现了数据的集中存储。 它还支持存储节点之间的故障自动化业务交接,最大限度地提高了业务数据的完整性。 但是,随着大数据的到来,在后续项目扩张时,需要人为配置设备的负荷分散。 如果一个存储出现故障,存储在设备上的部分数据会中断,或者接管设备的压力会很大。 另外,考虑到网络延迟,存储中的数据可能不完整,检索数据需要人为指定设备的数据检索,这增加了管理成本。 由于设备负载平衡、空间虚拟化设备易于维护的问题,云存储技术应运而生。

3 .云存储模式

随着云存储技术的普及,目前市场上大致分为一般的云存储(文件云(集群NAS )和视频云存储。

云存储

软件利用集群技术、虚拟化技术和分布式存储技术,将网络中各种类型的存储设备聚集在一起并进行协作,共同向外部提供数据存储和业务访问功能。 主要部件是存储服务器(元数据服务器)磁盘阵列,因为通用云存储与传统的集中式基本设备没有区别。

许多云存储是通过优化和改造传统的IPSAN/NAS存储而发展起来的。 许多产品都实现了服务器和存储设备的群集管理、存储资源虚拟化和分布式数据存储。 这是因为内部数据处理以结构化数据为中心。

操作模式:前端摄像机视频数据通过流媒体服务器传输到存储管理服务器群集,并写入最后指定的磁盘阵列。 视频数据必须通过流服务器传输到存储服务器,这可能存在一定的流媒体故障、系统中断和数据丢失风险。 云存储可以虚拟化存储资源,但虚拟化有限。 通用云存储将非结构化视频图像数据存储在结构化文件系统中,导致视频存储效率低下。

综上所述,通用云存储产品目前已面向全行业项目提供支持,主要作为一种存储方案,不支持安全视频APP应用。 不太适合安全对策视频整体的解决方案。

安防专用的视频云存储

基于云架构进行开发,融合集群应用、负载均衡、虚拟化、云结构化、离散存储等技术,通过专业APP应用软件协同运行网络上各种类型的存储设备,实现视频视频云存储基本组件:云存储管理服务器、云存储节点和云存储软件。

视频监控平台根据业务需求向每个前端摄像机分发录制计划,视频云存储系统根据当前系统中的业务负载情况分配具体的存储空间,前端摄像机将视频流分配给分配的存储设备云存储数据传输协议支持主要的流媒体协议(如RTSP/ONVIF/PSIA )和GB/T28181规范。 支持平台直接调用,结构简化开放,空间自我管理,能够独立构建网络。 在这里,我推荐大数据技术交流圈。 658558542突破技术瓶颈,提高思维能力

对于通用云存储,视频云存储的好处包括:

在大型视频监控项目中,视频云存储比视频/图像存储更高效。

在项目预算中,视频云存储比通用云存储更能节省部分服务器投资,有利于成本。

视频云存储是一种高效、安全、稳定的后端存储解决方案,专门针对视频安全行业,可支持多种视频功能APP应用。 这也不在通用云存储中。

云存储的特点是以下:

1 )高效灵活的空间管理

虚拟化和整合存储资源,提高用户管理效率;

支持存储资源的在线扩展,实现容量和性能的线性增长。

虚拟空间可以灵活调整,不仅可以放大,而且可以缩小; 对于后续产品,只需添加存储节点即可完成容量升级

2 )海量数据快速检索

一体化索引设计大大提高了搜索速度

深化视频、图像应用设计,支持I帧信息快速读取;

3 )持续可靠的数据服务

全天候提供高效、可持续的数据服务,

充分保护数据安全和可靠性;

采用全集群化设计,性能全面提升,设备压力负载均衡,单/多点故障,录像业务不中断;

数据存储采用离散存储算法,提供系统级高效、稳定存取服务;

4) 高可扩展的应用支撑

系统的高性能设计,能够并发服务以满足视频数据的高速读取需求。

采用流式数据结构,面向视频、图片数据而设计,满足视频数据的持续写入;

深入开发视频录像的专业化应用设计,优化了应用的服务质量;

5) 开放透明的兼容系统

统一开放的应用功能接口,由上层业务平台直接调用;

数据存储采用离散存储算法,提供系统级高效、稳定存取服务;

6) 高可扩展的应用支撑

系统的高性能设计,能够并发服务以满足视频数据的高速读取需求。

采用流式数据结构,面向视频、图片数据而设计,满足视频数据的持续写入;

深入开发视频录像的专业化应用设计,优化了应用的服务质量;

7) 开放透明的兼容系统

统一开放的应用功能接口,由上层业务平台直接调用;

采用的是标准设备兼容模式,支持标准IP SAN、FC SAN存储设备的接入;

目前需要存储容量不断增加,客户要求数据存储周期越来越长,带库和云存储融合方案慢慢呈现在客户面前。

4.视频云+带库

长周期数据云存储+带库方案:致力于解决重要数据的归档备份,数据快速提取。存储组成缓存存储系统,提供足够的存储空间满足热数据及备份数据的容量需求,结合专业的备份软件和磁带库实现数据的在线和离线备份云存储系统统一管理冷热数据存储及状态切换,提供对热数据的转码、压缩等丰富的功能应用。同时完全继承传统云存储虚拟化资源分配、离散存储、在线扩容、集群容灾,兼容第三方存储等云存储特性

在此我向大家推荐一个大数据技术交流圈: 658558542  突破技术瓶颈,提升思维能力 。方案中所有存储设备均可设计为冗余连接,在满足用户存储需求的同时,兼顾整个系统的存储性能和安全性。

系统功能简介:

业务层面

支持实时视频流、视频文件、图片、普通文件混合存储;支持对数据自定义归档存储,同时保存热数据及归档数据;将客户经常使用的视频图片及文件存入热数据存储资源池;把客户访问频率不高的视频视频文件、图片、普通文件且需要长周期存储的数据存入冷数据存储资源池.冷热数据资料可以通过管理软件实现数据迁移.数据归档和迁移时可以按照文件时间、文件大小、各级存储的位置、文件的历史版本、存根信息等进行策略定制,实现基于策略的数据归档和迁移

数据高可靠性保障系统

带库方案是基于目前稳定的存储系统架构,采用成熟稳定的硬件,可以保障系统长时间稳定运行。系统的管理软件具有报警措施,控制软件发现软硬件异常时,通过多种方式进行报警。管理软件包括快照和克隆的功能,可以使所管理的数据回滚到原来某一时刻的状态,防止用户错误操作带来的数据丢失。同时通过存储管理软件实现备份功能。

高安全数据存储

系统通过用户名、密码、IP地址认证等认证方式,保证数据空间访问权限的控制,保障数据不会被其他人恶意窃取或破坏。方案中,根据客户需求可以设定不同的登录权限和读写操作权限,实现数据的安全性。存储设备内嵌WORM归档模块,它是针对档案类存储提供的基于硬盘的写一次,读多次的存储产品。可以有效防止关键文件数据被篡改。

高扩展的带库存储

整个系统的存储容量可以在不影响业务运行的情况下随需采购磁带扩展。存储的性能也可以动态线性增加,通过增加驱动器的方式,拓宽整个系统的处理性能。系统易扩展为远程容灾存储系统。系统是基于存储和备份软件结合,易于实现远程的数据传输;为以后扩展到其他地区,结合为一体的容灾存储系统建立好的基础条件。

科学有效的备份实现

日常需要备份的主要业务数据,可以用文件同步和文件备份功能实现。设定合理的备份策略, 尽可能利用非业务时间进行文件同步和备份,避免增加对应用局域网的负载压力。采用专业的文件集中备份功和数据库备份功能实现。不干扰用户的局域网正常业务,达到LAN FREE效果。

较低的保存环境要求

磁带是可移动介质,可以异地离线保存,运输方便,可以根据用户需求在不同存放地点之间搬运,这对数据的安全来说是非常有利的,适合数据交换。离线磁带不会受机械振动、电力变化等因素带来对寿命的影响,对存放条件要求简单。

通常情况下,性价比和高可用仍是企业或者个人选择存储系统最优先考虑的两大因素,此外存储的易于部署和管理以及磁盘和闪存的紧密整合也是企业用户评估存储的重要考虑因素.随着大数据时代的来临,企业会根据自身需求和预算来挑选适合自己的企业的解决方案。 整体来说,目前云存储发展最为迅猛, 以其遥遥领先的优势独占鳌头,必然会是未来大数据应用的重点组成部分,同时数据分层、融合以及智能也将逐渐普及应用,可以说,安防行业为了迎接大数据来临,已经做好了充足的准备。

结语

感谢您的观看,如有不足之处,欢迎批评指正。

在此我向大家推荐一个大数据开发交流圈:

658558542    (☛点击即可加入群聊)

里面整理了一大份学习资料,全都是些干货,包括大数据技术入门,大数据离线处理、数据实时处理、Hadoop 、Spark、Flink、推荐系统算法以及源码解析等,送给每一位大数据小伙伴,让自学更轻松。这里不止是自然的咖啡聚集地,还有xhdhlg在线解答!欢迎初学和进阶中的小伙伴一起进群学习交流,共同进步!

最后祝福所有遇到瓶颈的大数据程序员们突破自己,祝福大家在往后的工作与面试中一切顺利。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。