| 3 |单个文件的块大小匹配,文件和文件可能不匹配|
| 4 | Block可以设置拷贝数,拷贝分布在不同的节点上
拷贝数不能超过节点数。 |
| 5 |可以在文件上传中设置块大小和副本数|
| 6 |上载的文件Block的副本数可调整大小|
| 7 |次写入仅支持多次读取,同时只允许一个写入者(不要在修改后更改所有后续节点的偏移) |
|8|可以在append中添加数据|
上传文件指定block大小和副本数量
Hadoop fs-DDFS.replication=2- puta.txt /
Hadoop fs-DDFS.block size=67108864-put fun1. sh /
已上传的文件Block副本数可以调整,大小不变
[ root @ Hadoop-node 01~] # Hadoop fs-set rep-w3/fun1. sh
复制3集:/fun1. sh
Waiting for /fun1.sh … done
append追加数据
Hadoop fs-appendtofileb.txt/a.txt
! 在此插入图像说明: 3359 img-blog.csdn img.cn/20190402164742158.png? x-oss-process=image/waterma
《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》
【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享
rk,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text _ a hr0 CHM6ly9kcg itym 9i b2th B3 lhlxntlmjsb2cuy 3n kbi5uzxq=,size_16,
架构模型
=====================================
文件元数据元数据元数据元数据,文件数据元数据
数据本身
(主) NameNode节点存储文件元数据)单节点posix
(从DataNode节点保存文件块数据:多节点
DataNode与NameNode保持心跳,提交阻滞列表
hdf客户端与NameNode交换元数据信息
hdf客户端和DataNode交互文件Block数据
NameNode
=====================================
保存元数据(元数据),不保存特定块
|序列号|特点|
| — | :-- |
| 1 |基于内存存储,不与硬盘交互|
| 2 |持续化|
NameNode的主要功能:
|序列号|功能|
| — | :-- |
| 1 |从客户端接收读写服务|
|2|收集datanode报告的块列表信息|
| 3保存的元数据信息包括:文件owership和permissions、文件大小、
时间(块列表)块偏移)、位置信息|
NameNode持久化
NameNode元数据信息在启动后加载到内存中
将元数据保存到磁盘的文件名为“fsimage”
块的位置信息不保存在fsimage中
edits记录元数据的操作日志。
DataNode
=====================================
本地磁盘目录中存储有数据(Block ),以文件形式同时存储有Block的元数据信息文件,启动DN后向NN报告Block信息,并通过向NN发送心跳来保持联系(3秒1次)