首页 > 编程知识 正文

主要的大数据处理系统,大数据处理概念

时间:2023-05-06 19:19:43 阅读:247543 作者:4364

三种大数据处理引擎 批量大数据处理 数据特点:静态数据场景:离散计算,対实时性要求不高代表技术:MapReduce MapReduce 一次计算可以分为映射和规约两个阶段拿到数据进行预处理先被分成各个数据块Map阶段:读取数据,生成键(词)值(对应词出现的次数)对形式的中间结果,存储到本地内存,并定期写入磁盘并进行分区交互给Reduce阶段。Reduce阶段:拿到Map阶段的数据后进行排序,key相同的键值对进行规约累加,计算结果存储到规定位置进行输出。完成所有操作给用户反馈

举例:

流式大数据处理 数据特点:动态数据;数据在计算过程中,不断更新,无法预先把数据保存场景:在线计算,对实时性要求高代表技术:storm




大规模图处理 数据特点:比较重要,普遍存在生活中的数据,如交通网,社交网数据代表技术:pregel

研究物体与物体的关系


汇总在vue中写jsx的方式

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。