1. 异构存储概述
异构存储可以根据各个存储介质读写特性的不同发挥各自的优势。针对冷数据，采用容量大的、读写性能不高的介质存储，比如最普通的磁盘；对于热数据，可以采用SSD（固态硬盘，读写速度快，容量小）的方式进行存储。
2. 异构存储的原理
·DataNode通过心跳汇报自身数据存储目录的StorageType给NameNode
·随后NameNode进行汇总并更新集群内各个节点的存储资源情况
·待复制文件根据自身设定的存储策略信息向NameNode请求拥有此类型存储介质的DataNode作为候选节点
3. 异构存储的类型
根据存储速度，从快到慢：
·RAM_DISK (true)
·SSD (false)
·DISK (false)
·ARCHIVE (false)（一种高密度的存储方式，一般用于冷数据的存储）
true或者false代表此类存储类型是否为transient，即转瞬即逝的。在HDFS中，如果没有主动声明数据目录存储类 型，默认都是DISK类型。
4. 异构存储的配置
配置属性dfs.datanode.data.dir可以对本地对应存储目录进行设置，同时带上一个存储类型标签，声明此目录用的是哪种类型的存储介质：
eg: [SSD]file:///grid/dn/ssd0
如果目录前没有带任何标签，则默认是DISK类型
输入hdfs storagepolicies -help将得到三大操作命令：
[-listPolicies] //列出目前现有的存储策略
[-setStoragePolicy -path <path> -policy <policy>] // 对目标文件/目录设置存储策略
[-getStoragePolicy -path <path>] //获取给定路径的存储策略
5. 异构存储的不足之处
目前HDFS上还不能对文件目录存储策略变更做出自动的数据迁移。需要用户在执行了相应策略setStoragePolicy之后，额外执行hdfs-mover命令做文件目录的扫描，进行数据块的迁移。这里所指的文件目录存储策略变更有以下两类情况：
·原先未设置StoragePolicy，后来进行了设置
·原先设置了A策略，后来又设置了B策略
数据迁移命令:
hdfs mover [-p <files/dirs> | -f <local file>] //hdfs mover数据迁移命令
-p <files/dirs> //需要被迁移的HDFS文件/目录的路径
-f <local file> //需要被迁移的HDFS文件/目录对应的本地文件系统路径
其中一个参数针对HDFS的文件目录，另一个参数针对本地的文件。
6. 块存储策略的类型
各策略名称如下：
·HOT
·COLD
·WARN
·ALL_SSD
·ONE_SSD
·LAZY_PERSIST
默认情况下，HDFS把集群中的数据都看成是经常访问的数据，即采用HOT策略。
7. 内存存储（LAZY_PERSIST）的含义
HDFS内存存储与HDFS缓存：都用机器的内存作为存储数据的载体
HDFS缓存需要用户主动设置目标待缓存的文件、目录，需要使用HDFS缓存管理命令
HDFS内存存储策略：LAZY_PERSIST则直接将内存作为数据存放的载体，可以这么理解，此时节点的内存也充当了一块“磁盘”
8. 内存存储（LAZY_PERSIST）原理
在内存存储新数据的同时，持久化距离当前时刻最远的数据。LRU : 最近最少使用算法
LAZY_PERSIST内存存储，在数据存储的同时会有另外一批数据被异步地持久化，所以这里一定会涉及多个服务对象的合作。这些服务对象的指挥者是FsDatasetImpl，它是一个管理DataNode所有磁盘读写的管家
在FsDatasetImpl中，与内存存储相关的服务对象有3个：
RamDiskReplicaLruTracker：是副本跟踪类，此类中维护了所有已持久化、未持久化的副本以及总副本数信息。所以当一个副本被最终存储到内存中后，相应的会有副本所属队列信息的变更。当节点不足时，会将最近最少被访问的副本块移除。
LazyWriter：这是一个线程服务，此线程会不断地从数据块列表中取出数据块，将数据块加入到异步持久化线程池RamDiskAsyncLazyPersistService中去执行
RamDiskAsyncLazyPersistService：此对象是异步持久化线程服务，针对每一个磁盘设置一个对应的线程池，需要持久化到给定磁盘的数据块会被提交到对应的线程池中去。每个线程池的最大线程数为1。
9. 内存存储（LAZY_PERSIST）的配置
①配置虚拟内存盘：
在Linux中，有一种将内存模拟为一块盘的技术，叫做虚拟内存盘(RAM disk)。这是一种模拟的盘，实际数据都是存放在内存中的。虚拟内存盘可以在某些特定的内存式存储文件系统下结合使用，比如tmpfs,ramfs。通过这个技术，就可以将机器内存利用起来，作为一块独立的虚拟盘供DataNode使用。
以tmpfs为例，默认情况下tmpfs被挂载到/dev/shm，并且大小是32GB，也就是说此目录下的数据实质上是存在于内存中的。需要将其挂在到特定的目录，以及对内存的使用大小进行有效的控制时，可以使用以下命令：
sudo mount -t tmpfs -o size=16g tmpfs /mnt/dn-tmpfs/
将tmpfs挂载到目录/mnt/dn-tmpfs，并且限制内存使用大小为16GB。最后，建议在/etc/fstab文件中将这层关系写入，这可以让机器在重启之后自动创建好挂载关系。
将机器中已经完成好的虚拟内存盘配置到dfs.datanode.dir中，其次还要带上RAM_DISK标签。
<name>dfs.datanode.dir</name>
<value>/grid/0,/grid/1,/grid/2,[RAM_DISK]/mnt/dn-tmpfs</value>
②设置具体的文件策略类型
a.确保HDFS异构存储策略没有被关闭，配置项：dfs.storage.policy.enabled
b.确认dfs.datanode.max.locked.memory是否设置了足够大的内存值，是否已是DataNode能承受的最大内存大小。设置过小会导致内存中总的可存储的数据块变少，但如果超过DataNode能承受的最大内存大小的话，部分内存块会被直接移出。
c.对目标文件目录设置StoragePolicy为LAZY_PERSIST的内存存储策略
①命令行方式：
hdfs storagepolicies -setStoragePolicy -path <path> -policy LAZY_PERSIST
②调用对应的程序方法，比如调用暴露在外部的create方法，但是得带上参数 CreateFlag.LAZY_PERSIST，如下所示：
FSDataOutPutStream fos = fs.create(path,FsPermission.getFileDefault(),EnumSet.of(CreateFlag.CREATE,Create-Flag.LAZ Y_PERSIST),bufferLength,replicationFactor,blockSize,null)
③通过FileSystem的setStorage-Policy方法：
fs.setStoragePolicy(path,”LAZY_PERSIST”)
这种方式的优点在于可以用程序动态的设置目标路径的存储方式
10. 总结
HDFS异构存储功能是解决冷热数据存储问题的一把利器。HDFS的内存存储方式的难点在于它如何对数据进行持久化，其中还涉及LRU（最近最少使用）算法。而HDFS异构存储的重点在于理解此套机制的整体实现原理，通过对DataNode上的数据目录以及HDFS上的目标路径打标签的方式来进行数据的存储选择。