首页 > 编程知识 正文

非结构化数据存储(非结构化数据转化为结构化数据)

时间:2023-05-06 09:23:20 阅读:86016 作者:1372

人们正在从不断产生的数据中挖掘价值,作为新的生产要素,数据量越大代表着人工智能越智能化。

因此,人们渴望从大量数据中挖掘价值。 迄今为止,挖掘数据潜力的最大限制是计算能力,但存储目前正成为越来越大的限制因素。

随着无组织数据的出现,存储限制越来越明显。 根据Gartner的数据,目前世界上80%的数据是非结构化数据。 同样,IDC预计到2023年,文件和对象数据的容量将增加三倍,而新公司90%的APP基于云的本机设计。

这提高了存储、使用和管理非结构化数据的要求,给存储基础架构带来了前所未有的性能和可扩展性挑战。

为企业用户提供高效、可用、可靠的存储产品是存储供应商的重中之重。

对象存储成为企业“新宠”

“当今的非结构化数据无处不在”。

从Delltechnologygroup大中华区非结构化数据存储事业部技术负责人开朗的小阿里来看,企业和组织的非结构化数据主要有三大部分。

一个是IT管理的数据,包括文件共享、主目录、文件归档、视频监控等。

二是行业APP数据,媒体包括4K编辑、广播系统、媒体系统,生命科学包括基因测序、石油能源、气象、地震高性能计算、EDA、ADAS、银行影像系统;

第三,特别是随着企业采用新的APP体系结构、微服务、容器等技术,传统的存储解决方案和数据库可以提供这些新的APP和新体系结构所需的简单性和灵活性

在这样的背景下,对象存储的主要操作对象是对象(Object ),因此可以像块存储一样有效地进行检索,同时像文件存储一样进行极大的扩展,从而带来了块和文件存储的优点其存储协议也是众所周知的S3、Swift等。

戴尔科技集团大中华区非结构化数据存储事业部技术负责人明亮的小蚂蚁

明亮的小蚂蚁说:“对象存储具有高可扩展性和易管理性的特性,因此,作为企业存储战略的关键要素,对象存储成为数字化转型中更多企业的首要选择。”

同时,越来越多的公共云制造商将目标存储器作为“云存储”出售。

但是,在实际的APP中,公共云对象存储服务具有优势,但是考虑到安全合规性和带宽成本等问题,企业更倾向于部署自己的对象存储。

亮丽表示,在企业私有化引进场景中,对象存储主要有两种使用方式,一种是面向传统场景提供归档存储。 另一个是面向现代化的APP应用,例如互联网大数据分析、AI等场景,例如云本机体系结构等负载。

第一种使用方法利用了对象存储的低成本、写入少、读取多(WORM )特性。 第二类主要利用高可扩展性和高灵活性的优势,更重要的是,存储协议支持S3,大多数现代化APP和云本机APP应用程序与S3兼容,因此对象存储需要更多“

另外,为了克服对象存储的性能不足,业界近年来开始尝试用全闪存提高性能,当性能型对象存储成为趋势时,应用场景将进一步扩大。

企业需要什么样的对象存储产品?

目前,目标存储越来越快进入企业APP场景,各方面都承担着“重任”。

随着非结构化数据呈指数级增长,企业对象存储产品有了更多的要求。

戴尔科技集团根据企业用户的需求,更新了企业级对象存储平台3354戴尔cs。

明亮的阿里表示,ECS采用横向扩展体系结构,不受容量、对象数量、文件规模或节点数量的限制,因此无论行业客户的数据中心位于何处,都能轻松应对指数级的数据增长此外,只需添加规模类似公共云的新节点并支持工作负载,即可同时实现私有云基础架构的可靠性和控制。

这样还实现了更好的总拥有成本。 数据显示,与业界领先的公共云提供商相比,使用ECS构建对象存储云可降低59.5%的总拥有成本。

它还具有支持8个站点的虚拟数据中心协作的全球访问功能,ECS采用了主动式体系结构,支持XOR等能力,从而简化了管理。 ECS还充当辅助存储,为重要的业务APP释放昂贵的主存储资源。

在存储协议方面,ECS支持S3、NFS、中小型企业、CIFS、Swift、CAS、ATMOS和HDFS等多协议,还支持通过rest风格的API迁移到云本机的趋势更重要的是多协议的支持和良好的互操作性,企业也可以利用ECS构建现代数据湖,通过数据湖实现Splunk分析和流媒体数据分析存储等能力。

在数据安全方面,ECS内置了具有静态数据加密、删除修改、三重镜像等功能的数据保护功能,在加强存储平台安全的同时,还支持新的安全管理员角色、特定的使用权限和特权提供新的安全API,不仅便于自动报告

安全设置,同时企业也能将ECS整合到已有的安全解决方案中;此外,也支持外部的密匙管理器,帮助企业满足合规要求。

在部署方面,ECS支持软件定义模式部署,也可以通过一体机这种“交钥匙”的方式部署,同时服务供应商也能通过ECS提供相应的部署,灵活的部署方式,可以让企业拥有更好的可扩展性、性能、弹性和经济性,真正满足了企业现代化应用的需求。

除此之外,ECS还能够定制元数据,内置元数据搜索功能,可以支持多达30个元数据字段,不但可以快速轻松定位数据,也能支持元数据更加精细的搜索。

值得注意的是,ECS还具有强一致性的多站点访问能力,能够通过全局命名空间,让任意数据可以在任意站点进行读写,支持应用访问无缝切换。

“ECS的多站点和强一致性能力,能够给前端业务带来很大的便利性,不需要处理很复杂的一致性的关系,就能实现数据的完整性、数据一致性的保证。”戴尔科技集团大中华区非结构化数据存储事业部资深系统工程师震动的帽子说到。

对象存储如何实践应用?

随着云原生相关理念的逐步升温,越来越多的企业都将目光瞄向了对象存储。

据IDC《2020年Q2,中国软件定义存储及超融合存储系统市场季度跟踪报告》显示,SDS在2020年上半年较去年同期实现38.3%增长,其中对象存储出货比例增长46%,超过软件定义存储市场总体增长率,对象存储是存储市场增长的新动力。

这表明着越来越多的企业都开始选择使用对象存储,据光亮的小蚂蚁介绍,海通证券利用ECS对象存储的扩展性建立了存储资源池,不仅降低了初期成本投入和TCO ,还解决了传统磁带库性能低下、可靠性不足等问题,同时还获得了数据全生命周期管理能力,更为后续在业务中融入人工智能等技术做好了准备。

光亮的小蚂蚁认为,企业在对旧的定制应用系统做现代化改造时,最好的做法是改变应用使用存储的方式。

因为基于NAS文件存储来开发传统应用的体系其实非常复杂,有几个应用就需要对应有几套文件系统,甚至还有五花八门的专有API,这导致应用开发和存储管理的成本都很高。而且,许多应用都只能本地使用,无法以Web应用和移动应用方式来访问,非常不现代化。

现代化的云原生应用中直接使用对象存储来存储数据,数据绕过Web服务器,直接通过API存取数据到对象存储,开发过程简化。而且对象存储的管理成本很低,一个人就能轻松管理PB级的数据。配合对象存储,云原生架构会使得企业软件的开发迭代速度变得非常快。

从光亮的小蚂蚁的介绍中了解到,国内某大型商业银行的手机银行有许多新应用需要大量频繁迭代,于是,该银行逐步把这部分业务转型为云原生业务,底层存储中采用了ECS,存放着超过100亿个对象,每天大概要接受2亿左右的请求,在ECS之上部署了200多个应用。

该银行的应用开发部署的节奏明显加快,最多一个季度上线了50个应用这在以前是不可想象的,这是云原生架构以及对象存储技术的价值体现。(雷锋网雷锋网雷锋网)

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。