33558 www.rain cent.com/content-10-10587-1.html
大数据是大数据的集合，不能用传统的计算技术处理。 测试这些数据集需要使用各种工具、技术和框架。 大数据涉及数据的创建、存储、检索、分析，数量、多样性、速度方法都很好。
什么是大数据？
大数据是大数据的集合，不能用传统的计算技术处理。 测试这些数据集需要使用各种工具、技术和框架。 大数据涉及数据的创建、存储、检索、分析，数量、多样性、速度方法都很好。
大数据测试类型
大数据APP应用的测试往往不是测试软件产品的各个功能，而是验证数据处理。 涉及大数据测试时，性能和功能测试很重要。
在大数据测试中，QA工程师使用群集和其他组件来验证TB级数据的成功处理。 因为处理非常快，所以需要高水平的测试技能。 处理有批处理、实时、交互三种。
同时，数据质量也是大数据测试的重要因素之一。 在测试APP应用之前，必须检查数据的质量，并将其视为数据库测试的一部分。 必须检查各种字段，包括一致性、准确性、重复性、一致性、有效性和数据完整性。
大数据测试步骤
下图概述了大数据APP应用的测试阶段。
大数据测试的实现分为三个步骤。
Step 1：数据阶段验证
大数据测试的第一步，也称为pre-hadoop阶段，该过程包括以下验证：
必须验证来自各个方面的数据资源，以便将正确的数据加载到系统中
将源数据与推送至Hadoop系统的数据进行比较，确保它们匹配
验证是否已提取正确的数据并将其加载到HDFS中的正确位置
此阶段可以使用工具Talend或Datameer验证数据阶段。
Step 2："MapReduce"验证
大数据测试的第二步是MapReduce的验证。 在此阶段，测试器将在每个节点上验证业务逻辑，并在运行多个节点后进行验证以确保以下操作正确无误：
Map和Reduce进程运行正常
在数据上实施数据聚合或隔离规则
生成键值对
在运行Map和Reduce进程后验证数据
Step 3：输出阶段验证
大数据测试的最后或第三阶段是输出验证过程。 在生成输出数据文件的同时，将文件移动到企业数据仓库(edw )或其他基于需求的系统中。 第三阶段的活动如下
检查是否正确应用了转换规则
检查数据完整性和正常的数据加载到目标系统
将目标数据与HDFS文件系统数据进行比较，确保没有数据损坏
架构测试
Hadoop处理大量数据，非常消耗资源。 因此，体系结构测试对于确保大数据项的成功是必不可少的。 系统的设计错误和设计错误可能会导致性能降低，系统无法满足要求。 至少，性能和故障转移测试服务必须在Hadoop环境中进行。
性能测试包括测试作业完成时间、内存利用率和数据吞吐量等系统指标。 故障转移测试服务的动机是验证在数据节点发生故障时数据处理是否无缝
style="margin-left:0px;">性能测试大数据性能测试包括两个主要的行动
数据采集和整个过程：在这个阶段，测试人员验证快速系统如何消耗来自各种数据源的数据。测试涉及识别队列在给定时间框架内可以处理的不同消息。它还包括如何快速将数据插入到底层数据存储中，例如插入到Mongo和Cassandra数据库中。
数据处理：它涉及验证执行查询或映射缩减作业的速度。它还包括在底层数据存储填充到数据集中时独立测试数据处理。例如，在底层HDFS上运行Map Reduce作业
子组件性能：这些系统由多个组件组成，而且必须单独测试每个组件。例如，消息的索引和消费速度有多快，mapreduce作业，查询性能，搜索等
性能测试方法
大数据应用性能测试涉及大量结构化和非结构化数据的测试，并且需要特定的测试方法来测试这些海量数据。
性能测试按此顺序执行
♦ 过程从设置要测试性能的大数据群集开始
♦ 确定和设计相应的工作量
♦ 准备个人客户(自定义脚本创建)
♦ 执行测试并分析结果(如果不满足目标，则调整组件并重新执行)
♦ 最佳配置
性能测试的参数
性能测试需要验证的各种参数
♦ 数据存储：数据如何存储在不同的节点中
♦ 提交日志：允许增长的提交日志有多大
♦ 并发性：有多少个线程可以执行写入和读取操作
♦ 缓存：调整缓存设置“行缓存”和“键缓存”。
♦ 超时：连接超时值，查询超时值等
♦ JVM参数：堆大小，GC收集算法等
♦ 地图降低性能：排序，合并等
♦ 消息队列：消息速率，大小等
测试环境需求
测试环境需求取决于您正在测试的应用程序的类型。对于大数据测试，测试环境应该包含
♦ 它应该有足够的空间来存储和处理大量的数据
♦ 它应该有分布式节点和数据的集群
♦ 它应该有最低的CPU和内存利用率，以保持高性能
大数据测试面临的挑战
自动化
大数据的自动化测试需要具有技术专长的人员。另外，自动化工具不具备处理测试过程中出现的意外问题的能力
虚拟化
这是测试的一个不可缺少的阶段。虚拟机延迟会在实时大数据测试中造成计时问题。在大数据中管理图像也是一件麻烦事。
大数据集
♦ 需要验证更多的数据，并需要更快地完成
♦ 需要自动化测试工作
♦ 需要能够跨不同的平台进行测试
性能测试挑战
♦ 多种技术组合：每个子组件属于不同的技术，需要单独测试
♦ 不可用的特定工具：没有一个工具可以执行端到端的测试。例如，NoSQL可能不适合消息队列
♦ 测试脚本：需要高度的脚本来设计测试场景和测试用例
♦ 测试环境：数据量大，需要特殊的测试环境
♦ 监控解决方案：存在有限的解决方案，可以监控整个环境
♦ 诊断解决方案：需要定制解决方案来深入了解性能瓶颈区域
概要
♦ 随着数据工程和数据分析技术的不断进步，大数据测试是不可避免的。
♦ 大数据处理可以是批处理，实时或交互式处理
♦ 测试大数据应用程序的3个阶段是
数据分级验证
“MapReduce”验证
输出验证阶段
♦ 架构测试是大数据测试的重要阶段，因为设计不佳的系统可能会导致前所未有的错误和性能下降
♦ 大数据的性能测试包括验证
数据吞吐量
数据处理
子组件性能
♦ 大数据测试与传统数据测试在数据，基础架构和验证工具方面有很大的不同
♦ 大数据测试挑战包括虚拟化，测试自动化和处理大型数据集。大数据应用程序的性能测试也是一个问题。