永远的巴乔 发表于 2015-1-24 15:00:29

HDFS元数据的独立服务和独立持久化存储

无状态NN: 针对HDFS中Namenode单点瓶颈的问题，TBFS通过无状态方式实现Namenode的水平扩展。为了实现无状态Namenode，需要将以前保留在Namenode内存中的关键数据结构部分或全部挪到第三方，并持久化保存。
数据结构名称
描述
dir
保存HDFS目录结构的数据结构FSDirectory（文件->块的对应关系）
blocksMap
保存块与文件、块与datanode和datanode与块的对应关系
datanodemap
保存datanode的storageID和对应DatanodeDescriptor的Map容器
heartbeats
保存拥有心跳的Datanode的DatanodeDescriptor的容器
corruptReplicas
保存损坏块的Map容器，key为Block，value为对应Datanode的DatanodeDescriptor集合
recentInvalidateSets
保存即将删除的块的Map容器，key为Datanode的StorageID，value是块的Block集合
excessReplicateMap
保存多余块的Map容器，key为Datanode的storageID，value是块的Block集合
neededReplications

保存少于replication数的块的数据结构，其内部维护了一个List<TreeSet<Block>>
类型的优先级队列
pendingReplications
保存处于replicationpending状态的block，如果超时则放入TimeoutItems列表中
leaseManager
维护写操作和追加操作租约的数据结构
**** Hidden Message *****


serend 发表于 2020-11-5 22:26:01

好东东，谢谢老大分享！

csm0805 发表于 2020-11-6 23:41:03

受教，谢谢分享~

iloveqhy 发表于 2020-11-8 23:16:55

这个不错，感谢分享啦

心愿 发表于 2020-11-27 22:11:13

受教，谢谢分享~

qibujinglong 发表于 2020-12-3 22:50:24

受教，谢谢分享~

aiter_long 发表于 2020-12-5 21:38:19

这个不错，感谢分享啦

destinytong 发表于 2020-12-7 21:57:40

好东东，谢谢老大分享！

nickcx 发表于 2020-12-9 21:33:49

楼主威武，谢谢分享

simonchuanqi 发表于 2020-12-16 21:13:58

好东东，谢谢老大分享！
页: [1]
查看完整版本: HDFS元数据的独立服务和独立持久化存储