大数据分析被各行各业运用于更好地预测未来的可能性、提前规划和应对，实际上，在医疗、零售、城市管理建设等行业可以看到大数据分析师的身影。 大数据是指超过10tb的数据集，根据大数据进行分析、修订是各分析师日常工作的责任。 为了分析速度快、分析结果充分准确、不失时效性，许多资深分析师都采用过程式方法进行分析。 下面介绍一下具体的方法。
大数据的数据收集，500万字的电子书1本所占的内存容量不过数百kb，但大数据的量超过了10tb。 如果只是单纯通过在线问卷调查进行收集，速度慢，容易错过数据的实效性。 为了避免这种情况，必须通过信息、互联网、python爬虫、nosql数据库等多种方法并行管理多种方法。 数据采集相当困难，主要难点在于同时多发数高。 例如，在互联网上通过爬虫获取数据时，在同一时间内数万用户很可能会进行访问操作，数百万用户可能会达到数百万。 例如，去哪里，在汽车票等订票系统，淘宝、京东等购物平台上，每个人都要认真考虑如何在数据获取过程中均匀地增加负荷。
大数据的数据清洗，在得到的数据中必然存在无用和重复的部分，去除这些数据，剩下的才具有进一步分析和分层、建模的意义和价值。 这个过程其实很简单，只要将数据导入到大型分布式数据库就可以了，但现在很多资深分析师在导入时都使用来自twitter的storm，效果很好。
在大数据分析的统计分析中，此时使用分布式数据库。 例如，EMC的GreenPlum、Oracle的Exadata和基于MySQL的列存储Infobright是典型的软件，经常用于实时请求处理。 对于批处理，使用hadoop，并且相应的软件因数据而异。 各大数据分析师重要的是弄清楚哪个软件在哪个阶段使用，软件的具体操作如何，到了这个程度就可以将大数据分析工作流程化。
在大数据挖掘中，与分析不同，分析是判断数据，了解不同数据之间的关系是什么。 挖掘是在此基础上得到适合不同数据的模型，建立模型后，在此基础上要反向估计数据的真实性，同时用简单的excel表等直观地表达不同变量之间的关系。
以上是大数据分析的全过程。 如果你能重复以上过程几十次，你就是一个积累了经验的大数据分析师。 这个级别的分析师，即使第一次进入职场，工资收入也很好。