答:Hadoop DataNode块管理原理如下:
1、两种文件
一个数据块在datanode上以文件形式存储在磁盘上,包括两个文件
数据本身
元数据:包括数据块的长度,块数据的校验和,以及时间戳。
2、DataNode工作机制
2.1、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向namenode上报所有的块信息。
2.2、NameNode每隔三秒向DataNode发送一次请求,达到确认该DataNode节点仍在服务,将指令发给DataNode节点
2.3、十分钟之内,DataNode向NameNode发送回执请求,确认DataNode仍在服务
2.4、如果超过十分钟DataNode仍没有发送回执请求,NameNode则认为该节点已经不可用。
3、动态服役、退役DataNode节点
在实际生产环境下,集群可能关闭或者启动将耗费很长时间,所以是不能够随意关闭启动的。在此状态下我们也能向集群中添加、删除DataNode节点