33558 www.51 projob.com/a/bishimianshi/hailiangshuju/2012/0322/111.html
要处理庞大的数据问题，只能是：
拆分/散列映射散列统计堆/快速/合并排序；
bloom过滤器/位图； 树/数据库/倒排索引外部排序； 分布式处理的hadoop/mapreduce。 本文的下一部分将分别具体阐述这五种方法论和相应的海量数据处理问题。
密匙一、分而治之/hash映射 + hash统计 + 堆/快速/归并排序
1、从大量的日志数据中提取某一天访问百度次数最多的IP。
既然是大量的数据处理，那么给我们的数据一定是大量的。 对于这个数据的庞大，我们怎么着手？ 嗯，是的/hash地图hash统计堆/快速/合并排序，简言之，只是映射后统计，最后排序。
(分割/散列映射)数据太大，相对于内存有限，将大文件变成小文件)。 也就是说，16字方针)变大变小，分别击破，缩小规模，逐个解决散列统计)大文件变成小文件后，采用通常的散列图(IP，value )的堆/快速具体来说，“首先这一天，然后取出访问百度的日志的IP，写入一个个大文件。 我注意到IP为32位，最多有2^32个IP。 同样可以采用映射的方法。 例如，可以将1000个管芯、整个大文件映射到1000个小文件，使用每个小语句中出现频率最高的IP(hash_map )进行频率统计，然后查找下一个频率最高的几个)及其对应的频率而且，在这1000个最大的IP中，要求找到其频率最大的IP。 ”-总结了10个大量数据处理问题和10种方法。
但是，如果数据规模很小，是否可以一次性加载内存？ 例如，在以下问题中，虽然有000万个Query，但由于重复度高，实际上只有300万个Query，每个Query为255字节，所以可以考虑将他们放入内存中，但现在需要适当的数据结构OK，请看第二题：
2 .搜索引擎在日志文件中记录用户每次搜索时使用的所有搜索字符串。 每个搜索字符串的长度为1-255字节。
假设现在有1千万张记录。 (这些查询列的重复程度很高，总数为1千万，但除去重复项，不超过3百万个。 查询列的重复程度越高，表示执行查询的用户越多，即越受欢迎。 请统计最受欢迎的10个查询串。 使用的内存不得超过1G。
如上所述，由于数据相对较小，所以放弃分割/散列映射方法，直接上传到散列统计中进行排序。 So、
hash统计首先预处理这些大量数据。 (一个Key是Query字符串，Value是该Query出现次数的HashTable (即hashmap ) Query、Value )，每次读取一个Query，如果该字符串不在Table中，则添加该字符串最终我们在o(n )的时间复杂度内用Hash表完成了统计； 堆栈：第二步，利用堆栈的数据结构，找到Top K，时间复杂度为N‘logK。 这意味着堆结构允许在日志订单的时间内搜索、调整和移动。 因此，我们的最终时间复杂度是，o(n ) (n ) (o ) (logk )，) n，因为我们保持k (在这个主题中是10 )大小的小根堆，遍历300万个查询，并分别与根元素进行比较不要忘记本文提到的堆栈排序的想法。 "维持k个元素的最小堆。 也就是说，存储容量为k的最小堆中首先遍历的k个数，假设它们是最大的k个，构建堆需要时间的o(k )、调整堆)、需要时间的logk )、kmin )、小堆否则，不会更新堆。 于是，需要总时间的o(k**logk ) n-k (logk )=o ) *logk )。 这是因为在堆中，搜索等各操作时间的复杂性都是logk。 ”-第三章，寻找最小的k个。
当然，也可以采用树结构树。 关键字字段存储该查询列出现的次数，而不出现在0。 最后以10个要素的最小推送对出现频率进行排序。
从上面的两个例题来看，如果我们把hash统计堆/快速排序这一路径分开，我们已经有了好几次尝试的感觉。 接下来，让我们走几条路，多验证一下。 请看第三题：
有3，1g大小的文件。 每行是一个单词，单词大小不超过16字节，内存限制大小为1M。 返回度数最高的100个单词。
文件大，内存受限，怎么办？ 我该怎么办？ 果然还是
(拆分/散列映射)依次读取文件，对每个单词x取散列(x ) P00，并根据其值保存在5000个小文件(标记为x0，x1， x4999 )中。 这样，每个文件约200k左右。 如果你有其中的文件
超过了1M大小，还可以按照类似的方法继续往下分，直到分解得到的小文件的大小都不超过1M。hash统计：对每个小文件，采用trie树/hash_map等统计每个文件中出现的词以及相应的频率。堆/归并排序：取出出现频率最大的100个词（可以用含100个结点的最小堆），并把100个词及相应的频率存入文件，这样又得到了5000个文件。最后就是把这5000个文件进行归并（类似与归并排序）的过程了。4、有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。
直接上：
除此之外，此题还有以下两个方法：
方案2：一般query的总量是有限的，只是重复的次数比较多而已，可能对于所有的query，一次性就可以加入到内存了。这样，我们就可以采用trie树/hash_map等直接来统计每个query出现的次数，然后按出现次数做快速/堆/归并排序就可以了。
方案3：与方案1类似，但在做完hash，分成多个文件后，可以交给多个文件来处理，采用分布式的架构来处理（比如MapReduce），最后再进行合并。
5、 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？
可以估计每个文件安的大小为5G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。
OK，此第一种方法：分而治之/hash映射 + hash统计 + 堆/快速/归并排序，再看最后三道题，如下：
8、怎么在海量数据中找出重复次数最多的一个？
方案1：先做hash，然后求模映射为小文件，求出每个小文件中重复次数最多的一个，并记录重复次数。然后找出上一步求出的数据中重复次数最多的一个就是所求（具体参考前面的题）。
9、上千万或上亿数据（有重复），统计其中出现次数最多的钱N个数据。
方案1：上千万或上亿的数据，现在的机器的内存应该能存下。所以考虑采用hash_map/搜索二叉树/红黑树等来进行统计次数。然后就是取出前N个出现次数最多的数据了，可以用第2题提到的堆机制完成。
10、一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前10个词，请给出思想，给出时间复杂度分析。
方案1：这题是考虑时间效率。用trie树统计每个词出现的次数，时间复杂度是O(n*le)（le表示单词的平准长度）。然后是找出出现最频繁的前10个词，可以用堆来实现，前面的题中已经讲到了，时间复杂度是O(n*lg10)。所以总的时间复杂度，是O(n*le)与O(n*lg10)中较大的哪一个。
接下来，咱们来看第二种方法，Bitmap。
密匙二：Bloom filter/Bitmap
关于什么是Bloom filter，请参看此文：海量数据处理之Bloom Filter详解。
适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集
基本原理及要点：
对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是 counting Bloom filter，用一个counter数组代替位数组，就可以支持删除了。
还有一个比较重要的问题，如何根据输入元素个数n，确定位数组m的大小及hash函数个数。当hash函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况下，m至少要等于n*lg(1/E)才能表示任意n个元素的集合。但m还应该更大些，因为还要保证bit数组里至少一半为0，则m应该>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2为底的对数)。
举个例子我们假设错误率为0.01，则此时m应大概是n的13倍。这样k大概是8个。
注意这里m与n的单位不同，m是bit为单位，而n则是以元素个数为单位(准确的说是不同元素的个数)。通常单个元素的长度都是有很多bit的。所以使用bloom filter内存上通常都是节省的。
扩展：
Bloom filter将集合中的元素映射到位数组中，用k（k为哈希函数个数）个映射位是否全1表示元素在不在这个集合中。Counting bloom filter（CBF）将位数组中的每一位扩展为一个counter，从而支持了元素的删除操作。Spectral Bloom Filter（SBF）将其与集合元素的出现次数关联。SBF采用counter中的最小值来近似表示元素的出现频率。
问题实例：给你A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。如果是三个乃至n个文件呢？
根据这个问题我们来计算下内存的占用，4G=2^32大概是40亿*8大概是340亿，n=50亿，如果按出错率0.01算需要的大概是650亿个bit。现在可用的是340亿，相差并不多，这样可能会使出错率上升些。另外如果这些urlip是一一对应的，就可以转换成ip，则大大简单了。
同时，上文的第5题：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？如果允许有一定的错误率，可以使用Bloom filter，4G内存大概可以表示340亿bit。将其中一个文件中的url使用Bloom filter映射为这340亿bit，然后挨个读取另外一个文件的url，检查是否与Bloom filter，如果是，那么该url应该是共同的url（注意会有一定的错误率）。
至于什么是Bitmap，请看此文：http://blog.csdn.net/v_july_v/article/details/6685962。下面关于Bitmap的应用，直接上题，如下第6、7道：
6、在2.5亿个整数中找出不重复的整数，注，内存不足以容纳这2.5亿个整数。
方案1：采用2-Bitmap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义）进行，共需内存2^32 * 2 bit=1 GB内存，还可以接受。然后扫描这2.5亿个整数，查看Bitmap中相对应位，如果是00变01，01变10，10保持不变。所描完事后，查看bitmap，把对应位是01的整数输出即可。
方案2：也可采用与第1题类似的方法，进行划分小文件的方法。然后在小文件中找出不重复的整数，并排序。然后再进行归并，注意去除重复的元素。
7、腾讯面试题：给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？
方案1：oo，申请512M的内存，一个bit位代表一个unsigned int值。读入40亿个数，设置相应的bit位，读入要查询的数，查看相应bit位是否为1，为1表示存在，为0表示不存在。
密匙三、Trie树/数据库/倒排索引
Trie树
适用范围：数据量大，重复多，但是数据种类小可以放入内存
基本原理及要点：实现方式，节点孩子的表示方式
扩展：压缩实现。
问题实例：
1).有10个文件，每个文件1G，每个文件的每一行都存放的是用户的query，每个文件的query都可能重复。要你按照query的频度排序。
2).1000万字符串，其中有些是相同的(重复),需要把重复的全部去掉，保留没有重复的字符串。请问怎么设计和实现？
3).寻找热门查询：查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个，每个不超过255字节。
更多有关Trie树的介绍，请参见此文：从Trie树（字典树）谈到后缀树。
数据库索引
适用范围：大数据量的增删改查
基本原理及要点：利用数据的设计实现方法，对海量数据的增删改查进行处理。
倒排索引(Inverted index)
适用范围：搜索引擎，关键字查询
基本原理及要点：为何叫倒排索引？一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。
以英文为例，下面是要被索引的文本：
T0 = "it is what it is"
T1 = "what is it"
T2 = "it is a banana"
我们就能得到下面的反向文件索引：
"a": {2}
"banana": {2}
"is": {0, 1, 2}
"it": {0, 1, 2}
"what": {0, 1}
检索的条件"what","is"和"it"将对应集合的交集。
正向索引开发出来用来存储每个文档的单词的列表。正向索引的查询往往满足每个文档有序频繁的全文查询和每个单词在校验文档中的验证这样的查询。在正向索引中，文档占据了中心的位置，每个文档指向了一个它所包含的索引项的序列。也就是说文档指向了它包含的那些单词，而反向索引则是单词指向了包含它的文档，很容易看到这个反向的关系。
扩展：
问题实例：文档检索系统，查询那些文件包含了某单词，比如常见的学术论文的关键字搜索。
关于倒排索引的应用，更多请参见：第二十三、四章：杨氏矩阵查找，倒排索引关键词Hash不重复编码实践，及第二十六章：基于给定的文档生成倒排索引的编码与实践。
密匙四、外排序 适用范围：大数据的排序，去重
基本原理及要点：外排序的归并方法，置换选择败者树原理，最优归并树
扩展：
问题实例：
1).有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16个字节，内存限制大小是1M。返回频数最高的100个词。
这个数据具有很明显的特点，词的大小为16个字节，但是内存只有1m做hash有些不够，所以可以用来排序。内存可以当输入缓冲区使用。
关于多路归并算法及外排序的具体应用场景，请参见此文：第十章、如何给10^7个数据量的磁盘文件排序。
密匙五、分布式处理 Mapreduce 适用范围：数据量大，但是数据种类小可以放入内存
基本原理及要点：将数据交给不同的机器去处理，数据划分，结果归约。
扩展：
问题实例：
1).The canonical example application of MapReduce is a process to count the appearances of each different word in a set of documents:
2).海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10。
3).一共有N个机器，每个机器上有N个数。每个机器最多存O(N)个数并对它们操作。如何找到N^2个数的中数(median)？
更多具体阐述请参见：从Hadhoop框架与MapReduce模式中谈海量数据处理，及MapReduce技术的初步了解与学习。