用巨大的数据集过滤的最佳工具是什么？
r语言
在这些语言列表中，如果r语言排在第二位，则没有其他语言能排在第一位。 自1997年以来，作为Matlab和SAS等昂贵统计软件的免费替代品，逐渐风靡全球。
在过去的几年里，r语言已经成为了数据科学的宠儿——数据科学现在不仅为高兴的羽翼般的统计学家所熟知，也为华尔街的交易员、生物学家和硅谷的开发商所熟知。 包括谷歌、Facebook、美国银行和纽约时报在内的各个行业的企业都在使用r语言，r语言在商业用途上持续传播和扩散。
r语言有简单而明显的魅力。 使用r语言，只需几行代码，就可以通过复杂的数据集进行过滤，使用高级建模函数处理数据，并创建平面形状来表示数字。 这被比作Excel非常活跃的版本。
r语言最伟大的资本已经是以它为中心开发的充满活力的生态系统。 r语言社区不断添加新的软件包和功能，已经集中在相当丰富的功能上。 据估计，200多万人使用r语言。 而且在最近的投票中，r语言是迄今为止科学数据中最受欢迎的语言，被61%的受访者(接下来是Python，39% )使用。
此外，它的身影也出现在华尔街。 以前，银行分析师专注于Excel文件直到深夜，但现在，r语言是金融建模r，特别是作为可视化工具的niallo’Connor，美国银行的副总裁说。 “r语言使我们平凡的表格与众不同，”他说。
r语言越来越成熟，已成为数据建模的最佳语言。 有些人说，如果企业需要生产大型产品，这是因为它们的能力有限，但被其他语言剥夺了地位。
凶书Driscoll，Metamarkets的首席执行官说：“r更适合绘制草图和概略，而不是详细的构建。” “你不会在谷歌的页面排行榜和Facebook的朋友推荐算法的核心中找到r语言。 工程师用r语言制作原型，交接给用Java和Python编写的模型。 ”
顺便说一下，在2010年，Paul Butler因用r语言绘制了全球Facebook地图而闻名。 这证明了该语言丰富的可视化功能。 尽管他现在不像以前那么频繁地使用r语言。
r正在一点一点地变旧。 由于其缓慢和处理大数据集的重量，他用什么来代替呢？ 请看下文。
Python
如果说r语言是神经质又可爱的yjddl，那么Python就是随和且灵活的地方。 作为结合r语言快速挖掘复杂数据的能力和构建产品的更实用的语言，Python迅速获得了主流魅力。 由于Python直观、比r语言更容易学习，以及其生态系统近年来急剧增加，所以可以用于为r语言保留的统计分析。
这是这个行业的进步。 在过去的两年中，从r语言到Python的转变非常明显。 在数据处理中，规模和复杂性之间往往存在折衷，Python是一种折中方案。 IPython notebook和NumPy可以作为轻量级工作的临时内存，而Python可以作为中等规模数据处理的强大工具。 丰富的数据社区可以提供大量的工具包和功能，因此也是Python的优势。
美国银行使用Python在银行的基础架构上构建新的产品和接口，同时财务数据也用Python处理。 Python既宽敞又灵活，因此人们越来越关注它。
但是，Driscoll表示，这不是最高性能的语言，只能偶尔用于大型核心基础架构。
kddlz
目前的大多数数据科学都以r语言、Python、Java、MatLab和SAS运行。 但是，其他语言仍然活在夹缝中，kddlz是一场值得一看的后起之秀。
业界认为kddlz太费解了。 但是，当数据黑客谈到取代r和Python的可能性时，不由得皱起了眉头。 kddlz是一种高级、非常快的表达语言。 比r语言更快，比Python更可扩展，相当容易掌握。
那个在一步一步地成长。 最终使用kddlz，r和Python可以做任何力所能及的事情，但现在年轻人对kddlz依然犹豫不决。 kddlz数据社区还处于初级阶段，需要添加更多的软件包和工具才能与r语言和Python竞争。
虽然很年轻，但是很有前途。
JAVA
可见，Java和基于Java的框架正是硅谷最大的高科技企业骨架的支撑。 如果您去看Twitter、LinkedIn和Facebook，就会发现Java是所有这些数据工程基础架构的基础语言。
Java无法可视化r和Python的质量，非常适合统计建模。 但是，如果需要转至过去的原型制作并构建大型系统，Java往往是最佳选择。
hadoop和Hive
为了满足数据处理的巨大需求，开发了一组基于Java的工具。 Hadoop作为首选的基于Java的框架用于批处理数据，点燃了大家的热情。 Hadoop比其他一些处理工具慢，但意外地准确，因此被广泛用于后端分析。 可以很好地与基于Hive——查询的顶部运行的框架配对。
/p>Scala
Scala是另一种基于Java的语言，并且和Java相同的是，它正日益成为大规模机器学习，或构建高层次算法的工具。它富有表现力，并且还能够构建健壮的系统。
Java就像是建造时的钢铁，而Scala则像黏土，因为你之后可以将之放入窑内转变成钢铁。
Kafka 和 Storm
那么，故意的萝莉需要快速实时的分析时又该怎么办呢?Kafka会成为你的lgdym。它大概5年前就已经出现了，但是直到最近才成为流处理的流行框架。
Kafka，诞生于LinkedIn内部，是一个超快速的查询消息系统。Kafka的缺点?好吧，它太快了。在实时操作时会导致自身出错，并且偶尔地会遗漏东西。
有精度和速度之间有一个权衡， “因此，硅谷所有的大型高科技公司都会使用两条管道：Kafka或Storm用于实时处理，然后Hadoop用于批处理系统，此时虽然是缓慢的但超级准确。”
Storm是用Scala编写的另一个框架，它在硅谷中因为流处理而受到了大量的青睐。它被Twitter纳入其中，勿庸置疑的，这样一来，Twitter就能在快速事件处理中得到巨大的裨益。
鼓励奖
MatLab
MatLab一直以来长盛不衰，尽管它要价不菲，但它仍然被广泛使用在一些非常特殊的领域：研究密集型机器学习，信号处理，图像识别，仅举几例。
Octave
Octave和MatLab非常相似，但它是免费的。不过，它在学术性信号处理圈子之外很少见到。
GO
GO是另一个正在掀起浪潮的后起之秀。它由Google开发，从C语言松散地派生，并在构建健壮基础设施上，正在赢得竞争对手，例如Java和Python的份额。