map (和平面图)之间的差异map将函数应用于数据集的每个元素，生成并返回新的分布式数据集(RDD )
平面贴图执行贴图操作，然后将所有对象合并为一个对象。 返回值为Sequence
平板映射) )的一个简单用途是将输入的字符串拆分成单词
3.5.1对于基本的RDD，首先说明什么样的转换操作和行动操作受任意数据类型的RDD的支持。 1 .对各元素的转换操作你最可能使用的两个最常用的转换操作是映射()和过滤器() ) )。 请参阅图3-2。 变换操作map ()接受该函数，将该函数用于RDD内的各个元素，并将函数的返回结果作为结果RDD内的对应元素的值。 另一方面，转换操作filter ()接收函数，并将RDD中满足该函数的元素放入新的RDD中返回。 例3-26:Python版是RDD中各值的平方nums=sc.parallelize ([ 1，2，3，4 ] ) squared=nums.map ) lambdax:x*x ).collect map ) )一样，我们提供给flatMap ) )的函数适用于输入RDD的每个元素。 但是，返回的不是元素，而是返回值数组的迭代器。 输出的RDD不是迭代器。 我们得到的是一个包含每个迭代器可以访问的所有元素的RDD。 平板映射) )的一个简单用途是将输入的字符串拆分成单词。 flatMap ) )可以认为，通过将返回的迭代器设置为“扁担”，获得了由每个列表中的元素组成的RDD。 必须复制三行importfindsparkfindspark.init (importpysparkimportsysfrompysparkimportsparkconf )，而不是由列表组成的RDD#方法2。 sparkcontextif _ name _==' _ main _ ' : # master='local'iflen(sys.argv )==2: master=sys.set master (local ).set appname (myapp ) ) sc=sparkcontext 将numpy设置为lines=sc.parallelize ([ ' hello world '，' hi'] ) words=lines.flatmap ) lambdaline3360line.split ) words