首页 > 编程知识 正文

大数据的题库,大数据与云计算题库

时间:2023-05-04 22:36:18 阅读:173325 作者:4275

hdfs文件写入流程和读取流程?

HDFS集群启动时,和三个重要角色正在运行

namenode、datanode、secondaryNamenode

将Namenode置于安全模式的命令是HDFS DFS管理员安全模式中心

分布式系统设计策略如下。 重试机制心跳机制复制机制

Doug Cutting发起的项目名字都受到家人的启发,他发起的项目是、 Hadoop Nutch Lucene

是HDFS架构中的主节点,用于维护和管理存储在DataNode中的块块块。 namenode

用于启动hdfs的shell脚本是start-dfs.sh

namenode的默认WebUI访问端口号为50070

hadoop的核心组件由、和这三大部分组成

HDFS映射

资源管理器包括以下两个核心组件: 计划程序应用程序管理器

Hadoop运行的模式是、 独立版本的伪方差

分布式系统的数据分布式设计包括、

哈希模式哈希模式数据范围划分数据库划分

本地模式,映射的默认个数为。 1

构建Hadoop集群常用的4个配置文件如下。

core-site.xmlhdfs-site.XML yarn-site.xmlmapred-site.XML

HDFS群集包含两大部分: ___和_ _。 名称数据节点

通常,一个群集可以有一个___和多个__共同工作。

名称数据节点

hadoop包含四个模块: _、、_。

hadoop common hdfs mapreduce yarn

负责____HDFS数据存储库datanode

在local模式下,35M大小的文件会生成__mapTask任务。 1

在MR工作中,通常设定压缩并导出一些常用的压缩算法__、、_。

Gzip Bzip2 Lzo Snappy

关于Hadoop检查点机制的说明,____是正确的。

a、对于hadoop2.x,可以通过配置fs.checkpoint.size设置checkpoint触发机制

B、 对于hadoop2.x,可以通过dfs.namenode.checkpoint.txns设置checkpoint触发机制

对于c、hadoop2.x,可以通过DFS.NameNode.check point.check.period属性进行配置

默认情况下,每60min检测一次" dfs.namenode.checkpoint.txns "属性是否达到记录

对于d、hadoop2.x,可以使用dfs.namenode.checkpoint.period属性配置checkpoint机制。 默认值为

60s

配置Hadoop时,JAVA_HOME包含在哪个配置文件中

a、hadoop-default.xml

B、 hadoop-env.sh

c、hadoop-site.xml

d,configuration.xsl

在客户端上传文件时,以下哪项是正确的

a、数据经过NameNode传递给DataNode

B、 Client端将文件切分为Block,依次上传

C、客户端向一台DataNode上传数据,NameNode负责Block复制

d、客户端方面不将文件拆分为Block,依次上传

MapReduce编程模型、键值对key、value的key必须实现哪个接口__。

A、 WritableComparable

b、可互换性

c、可写

d、长可写

Yarn和MapReduce的关系是____。

a、MapReduce是计算框架,可以在yarn上运行

b、Yarn是计算框架,可以在MapReduce上运行

c、MapReduce和Yarn没有直接关系

D、 以上回答都不正确

以下哪项是群集的主要性能瓶颈

a、CPU

b .网络

C、磁盘

d、内存

关于SecondaryNameNode,以下哪一项是正确的?

a,那是NameNode的热备盘

b、对内存没有要求

br> C、 它的目的是帮助NameNode合并编辑日志,减少NameNode启动时间
D、 SecondaryNameNode应与NameNode部署到一个节点

一个gzip文件大小75MB,客户端设置Block大小为64MB,请我其占用几个Block?
A、1
B、2
C、3
D、4

关于HDFS集群中的datanode的描述不正确的是?
A、 datanode之间都是独立的,相互之间不会有通信
B、 存储客户端上传的数据的数据块
C、 一个datanode上存储的所有数据块可以有相同的
D、 响应客户端的所有读写数据请求,为客户端的存储和读取数据提供支撑

执行一个job,如果这个job的输出路径已经存在,那么程序会?
A、 覆盖这个输出路径
B、 抛出警告,但是能够继续执行
C、 抛出一个异常,然后退出
D、 创建一个新的输出路径

下列哪种业务场景中,不能直接使用Reducer充当Comyqdgber使用?
A、 sum求和
B、 max求最大值
C、 count求计数
D、 avg求平均

Hadoop作者
A、 Martin Fowler
B、 Kent Beck
C、 Doug cutting
D、 James Gosling

关于MapReduce描述正确的是。
A、 MapReduce只能用java编写
B、 MapReduce框架不会对map端的输出进行排序
C、 在hadoop2.x版本,MapReduce直接运行在HDFS之上
D、 Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架

以下是关于Hadoop生态圈组件简介描述,错误的是。
A、 HDFS是一个分布式文件系统
B、 Zookeeper是一个分布式协调服务
C、 Hive不属于ETL工具
D、 flume是一个日志采集框架

如果我们现有一个安装2.7.2版本的hadoop集群,在不修改默认配置的情况下存储200个每个200M的文本文件,请问最终会在集群中产生多少个数据块(包括副本)?
A、200
B、40000
C、400
D、1200

Hadoop fs 中的-get 和-put 命令操作对象是
A、 文件
B、 目录
C、 两者都是
D、 两者都不是

请问以下哪个命令组成是错误的?
A、 syqdgb/stop-dfs.sh
B、 syqdgb/hdfs dfsadmin -report
C、 yqdgb/hadoop namenode -format
D、 yqdgb/hadoop fs -cat /hadoopdata/my.tx

以下哪个不是HDFS的守护进程?
A、 secondarynamenode
B、 datanode
C、 mrappmaster/yarnchild
D、 namenode

下列哪个程序通常与NameNode在一个节点启动?
A、 SecondaryNameNode
B、 DataNode
C、 TaskTracker
D、 Jobtracker

HDFS集群中的namenode职责不包括?
A、 维护HDFS集群的目录树结构
B、 维护HDFS集群的所有数据块的分布、副本数和负载均衡
C、 负责保存客户端上传的数据
D、 响应客户端的所有读写数据请求

Namenode在启动时自动进入安全模式,在安全模式阶段,说法错误的是
A、 安全模式目的是在系统启动时检查各个 DataNode 上数据块的有效性
B、 根据策略对数据块进行必要的复制或删除
C、 当数据块最小百分比数满足的最小副本数条件时 ,会自动退出安全模式
D、 文件系统允许有修改

对于HDFS集群,关于心跳过期时间(heartbeatExpireInterval )的判断,描述正确的。
A、 DFSConfigKeys.DFS_HEARTBEAT_INTERVAL_KEY默认属性值是3min
B、 dfs.namenode.heartbeat.recheck-interval 默认属性值是3min
C、 DFSConfigKeys.DFS_NAMENODE_HEARTBEAT_RECHECK_INTERVAL_KEY 默认属性值5s
D、 DFSConfigKeys.DFS_HEARTBEAT_INTERVAL_KEY默认属性值是3s

HDFS1.0默认Block Size大小是__。
A、 32MB
B、 64MB
C、 126MB
D、 256MB

下面与HDFS类似的框架是?
A、 NTFS
B、 FAT32
C、 GFS
D、 EXT3

以下是关于SecondaryNamenode描述,正确的是。
A、 它是namenode的热备份
B、 它不允许和namenode部署到同一个节点
C、 它在HDFS执行常规的检查点
D、 它的只会在namenode启动时候进行常规检查

Hadoop2.7.2的HDFS默认Block Size
A、 32MB
B、 64MB
C、 128MB
D、256MB

下列哪个不是Hadoop运行的模式?
A、 单机版
B、 伪分布式
C、 分布式
D、 网络式

MapReduce擅长哪个领域的计算___。
A、 DAG计算
B、 实时计算
C、 流式计算
D、 离线计算

有个exam任务,打算采用linux crontab,每20分钟运行一次,下面哪项正确?
A、 /20 * * * * exam
B、 20/ * * * * exam C、* * /20 * * exam
D、 */20 * * * exam

关于MapReduce原理,下面说话错误的是___。
A、 分为Map和Reduce两个阶段
B、 Map阶段由一系列Map任务组成
C、 Reduce阶段由一系列Reduce任务组成
D、 Map阶段和Reduce阶段没有任何依赖关系关于HDFS,已知fs是FileSystem

实例对象,下面操作,描述正确的是。
A、 fs.put(src,dst)是将本地文件上传到HDFS集群
B、 fs.copyToLocalFile(src,dst);是将本地文件上传到HDFS集群
C、 fs.copyFromLocalFile(src,dst)是将本地文件上传到HDFS集群
D、 fs.get(src,dst)是将HDFS集群文件下载到本地磁盘

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。