|
|
|
摘要 分布式文件系统(HDFS)存取大文件有很好的性能,但存取海量小文件时效率很差。鉴于此,提出一种小文件存取优化策略。存储小文件时,客户端将它们按类型和访问权限分类合并成MapFile,合并后的大文件交给HDFS处理。读取小文件时,引入由Nexist文件缓冲区域、一级缓存和二级缓存组成的缓存模块。实验表明,该策略能有效降低存取海量小文件时主节点中内存的消耗,同时减少了小文件的存取时间,极大提高存取的性能。
|
|
| 关键词 ：
分布式文件系统,
海量小文件,
MapFile,
缓存,
存取优化
|
|
|
| 基金资助:国家自然科学基金资助项目(61070139,81460769)； 江西省教育厅科学计划资助项目(GJJ14134,GJJ14143)； 广东省科技计划资助项目(2013B010406008)； |
|
|
