首页 > 编程知识 正文

大数据hadoop原理,hdfs和hadoop的关系

时间:2023-05-06 15:51:40 阅读:24146 作者:854

| 3 |单个文件的块大小匹配,文件和文件可能不匹配|

| 4 | Block可以设置拷贝数,拷贝分布在不同的节点上

拷贝数不能超过节点数。 |

| 5 |可以在文件上传中设置块大小和副本数|

| 6 |上载的文件Block的副本数可调整大小|

| 7 |次写入仅支持多次读取,同时只允许一个写入者(不要在修改后更改所有后续节点的偏移) |

|8|可以在append中添加数据|

上传文件指定block大小和副本数量

Hadoop fs-DDFS.replication=2- puta.txt /

Hadoop fs-DDFS.block size=67108864-put fun1. sh /

已上传的文件Block副本数可以调整,大小不变

[ root @ Hadoop-node 01~] # Hadoop fs-set rep-w3/fun1. sh

复制3集:/fun1. sh

Waiting for /fun1.sh … done

append追加数据

Hadoop fs-appendtofileb.txt/a.txt

! 在此插入图像说明: 3359 img-blog.csdn img.cn/20190402164742158.png? x-oss-process=image/waterma

《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》

【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享

rk,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text _ a hr0 CHM6ly9kcg itym 9i b2th B3 lhlxntlmjsb2cuy 3n kbi5uzxq=,size_16,

架构模型

=====================================

文件元数据元数据元数据元数据,文件数据元数据

数据本身

(主) NameNode节点存储文件元数据)单节点posix

(从DataNode节点保存文件块数据:多节点

DataNode与NameNode保持心跳,提交阻滞列表

hdf客户端与NameNode交换元数据信息

hdf客户端和DataNode交互文件Block数据

NameNode

=====================================

保存元数据(元数据),不保存特定块

|序列号|特点|

| — | :-- |

| 1 |基于内存存储,不与硬盘交互|

| 2 |持续化|

NameNode的主要功能:

|序列号|功能|

| — | :-- |

| 1 |从客户端接收读写服务|

|2|收集datanode报告的块列表信息|

| 3保存的元数据信息包括:文件owership和permissions、文件大小、

时间(块列表)块偏移)、位置信息|

NameNode持久化

NameNode元数据信息在启动后加载到内存中

将元数据保存到磁盘的文件名为“fsimage”

块的位置信息不保存在fsimage中

edits记录元数据的操作日志。

DataNode

=====================================

本地磁盘目录中存储有数据(Block ),以文件形式同时存储有Block的元数据信息文件,启动DN后向NN报告Block信息,并通过向NN发送心跳来保持联系(3秒1次)

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。