点击上面的'大数据肌肉猿'关注，星星标志会一起成长
后台回复【加群】，进入高质量学习交流群
2021年大数据肌猴公号奖励制度
管理不断增长的数据量仍然是企业和组织面临的挑战。 这里有10个很酷的大数据管理工具和平台，引起了我们的注意。
大数据管理的重大课题
全球COVID-19疫情并没有减缓数据的指数增长。 IDC最近计算了2020年全球创建、消耗和存储64.2千兆字节的数据。 市场研究者预计全球数据的创建和复制将经历23 %的2025年到2025年的复合年增长率。
幸运的是，无论是老牌企业还是新兴企业，创新的IT供应商都可以为一系列数据管理任务提供新一代平台和双平台，例如数据操作、数据集成、数据准备、数据科学、数据治理、数据发现和数据跟踪
以下是2021年年中引起我们关注的、酷酷的大数据管理工具。
Airbyte的初创企业Airbyte成立于2020年1月，开发了开源数据集成平台，用于将来自各种来源的数据复制和集成到数据库、数据仓库和数据湖中。 组织可以使用此平台在数据源之间构建管道，包括生产APP应用程序(如Salesforce和Facebook Ads )和云数据仓库(如Snowflake和AWS Redshift )。
虽然Airbyte与许多成熟的提取、转换和加载(ETL )工具供应商竞争，但该公司鼓励软件的简单性，并声称非技术业务分析师也可以复制数据。 这家初创公司的开源方法创建了一个活跃的用户社区，正在为平台快速开发其他连接器。
今年1月至5月间，Airbyte的客户群增长了8倍，达到2，000多人。 这家总部设在旧金山的公司5月份通过a轮融资筹集了2600万美元。
Alation Cloud Service Alation将原始数据目录软件扩展到企业数据智能任务的平台，包括数据搜索和发现、数据治理、数据管理、分析和数字转换
4月，该公司通过新的Alation云服务将这些功能扩展到云中。 这是一个基于云的统一数据智能平台，可以通过云本机连接器连接到任何云或本地数据源。
总部位于加利福尼亚州red wood的公司提供了一种简便的方法，通过新的云产品及其持续集成和部署选项，在组织混合体系结构中促进数据智能，同时减少维护和管理开销，缩短交付时间有价值。
作为AtScale CloudStart AtScale的主打产品，智能数据虚拟化平台利用语义层技术将基于云的在线分析(OLAP ) ——应用于分布式数据
总部位于波士顿的该公司于5月发布了新的AtScale CloudStart，包括Snowflake、Microsoft Azure Synapse SQL、Google BigQuery、Amazon Redshift和Datababa
CloudStart可以轻松地将Tableau、Power BI、Looker等业务分析工具连接到多个云数据源。
CockroachDB 21.1纽约的Cockroach Labs开发了CockroachDB，这是一个云本机分布式SQL数据库，旨在处理包含大量事务数据的工作负载。
Cockroach将于5月推出CockroachDB 21.1，使用一个数据库将数据与世界上任何地方的特定位相关联
置变得更加简单——这是一项重大挑战，因为越来越多的国家和地区要求将数据保留在其境内。新的数据库版本提供了独特的架构和内置功能，可使用少量 SQL 语句管理世界任何地方数据的地理位置——无需架构更改或手动分片——为用户提供近乎即时的数据访问，同时确保本地合规性。
该版本通过将数据放置在靠近最终用户的物理位置来最大限度地减少事务延迟，通过使用在区域或云故障中幸存下来的冗余来消除中断，并支持本地数据隐私要求。
Databricks Delta SharingDatabricks 在 5 月份启动了 Delta Sharing 计划，旨在创建一个开源数据共享协议，用于跨组织实时安全地共享数据，独立于数据所在的平台。
Delta 共享包含在开源 Delta Lake 1.0 项目中，它建立了一个通用标准，用于共享所有数据类型（结构化和非结构化），其开放协议可用于 SQL、可视化分析工具和编程语言（如 Python 和R. 大规模数据集也可以实时共享 Apache Parquet 和 Delta Lake 格式，无需复制。
据 Databricks 称，Delta Sharing 计划已经吸引了包括纳斯达克、标准普尔和 Factset 在内的许多数据提供商以及包括亚马逊网络服务、微软和谷歌云在内的领先 IT 供应商的支持。
Delta Sharing 是 Databricks 的最新开源计划，Databricks 是最受关注的大数据初创公司之一。由 Apache Spark 分析引擎的开发人员创立，总部位于旧金山的 Databricks 销售其旗舰统一数据分析平台 Databricks Lakehouse 平台。
Dremio Dart Initiative6 月，数据湖引擎开发商 Dremio 推出了 Dremio Dart 计划，这家总部位于加利福尼亚州圣克拉拉的公司大胆宣称这是“在淘汰云数据仓库方面向前迈出的重要一步”。
Dremio 的软件提供了一种直接分析数据湖（大量无组织数据存储）中的数据的方法，而无需将数据复制并移动到数据仓库系统中。Dart Initiative 通过使直接在数据湖上运行所有关键任务 SQL 工作负载成为可能，将其提升到一个新的水平。
最初的 Dart Initiative 功能内置于最新的 Dremio 版本中，包括更快的查询执行和优化查询计划、增强的查询加速自动化管理、对更广泛的 SQL 工作负载的支持以及改进的分布式和实时元数据管理以支持更大的数据集。
Nexla NexsetsNexla 开发了一个统一的数据操作平台——公司称之为“融合数据结构”——用于在整个组织中创建可扩展、可重复和可预测的数据流。该软件用于集成、自动化和监控数据用例的传入和传出数据，包括数据科学和业务分析。
Nexsets 是 Nexla 最新加入其技术组合的产品，可自动执行耗时的手动数据工程任务，从而更轻松地访问、集成和转换可能分散在不同系统中的数据。Nexsets 无需复制或复制数据即可创建数据的逻辑视图，为业务用户提供对精选数据视图的访问权限，他们可用于创建报告和仪表板、将数据移动到应用程序或将数据存储在云中。
Octopai Data Lineage XDOctopai 总部位于以色列特拉维夫，开发自动化元数据管理和分析的软件工具，帮助组织定位和理解他们的数据，以改进运营、数据质量和数据治理。
Octopai 于 5 月 10 日推出了 Data Lineage XD，这是一个先进的多维数据血缘平台，该公司表示将数据血缘提升到一个新的水平。Data Lineage XD 使用可视化表示来显示从源到目的地的数据流，让用户更全面地了解数据来源、发生的事情以及数据在数据环境中的分布位置。
此类功能用于跟踪数据错误、实施流程变更、管理系统迁移和提高业务分析效率。
Splunk Observability Cloud and Splunk Security CloudSplunk 一直在扩展其产品组合，以利用其“数据到一切”Splunk Enterprise 和 Splunk Cloud 平台的功能在可搜索存储库中捕获、索引和关联机器数据。
IT 系统和应用程序监控是 Splunk 平台最常见的用途之一。Splunk 总部位于旧金山，通过为 IT 和 DevOps 团队开发 Splunk Observability Cloud，这是一个 Splunk 软件包，包括 Splunk Log Observer、Splunk Real User Monitoring、Splunk Infrastructure Monitoring、Splunk APM 和 Splunk On-Call .
面向 IT 和 DevOps 团队的 Observability Cloud 于 2020 年 10 月首次推出测试版，并于 5 月全面上市。
用于网络安全任务的系统监控和数据收集是 Splunk 平台的另一个主要应用。6 月，Splunk 推出了 Splunk Security Cloud，这是一个以数据为中心的安全运营平台，利用其“数据到一切”技术提供高级安全分析、自动化安全运营和集成威胁情报功能。
YugabyteDBYugabyte 位于加利福尼亚州桑尼维尔，是新一代数据库开发商之一，提供旨在超越和超越传统数据库系统的技术。YugabyteDB 是一个高性能的分布式 SQL 数据库，用于构建全球互联网规模的应用程序。
5 月，Yugabyte 发布了 YugabyteDB 2.7，其中包含一套全面的部署选项，适用于希望使用 Red Hat OpenShift 和 VMware Tanzu 等 Kubernetes 平台跨混合云环境扩展分布式 SQL 的组织。
该公司表示，YugabyteDB 对公共和云原生环境的支持使企业和组织能够贯彻其战略 Kubernetes、分布式 SQL 和微服务计划，同时避免云锁定。
YugabyteDB 2.7 版本可以回滚意外更改并将数据库恢复到更早的时间点。它还支持表空间，以细粒度控制跨区域和可用区的数据分布。
--end--
扫描下方二维码添加好友，备注【交流】可私聊交流，也可进资源丰富学习群更文不易，点个“在看”支持一下????