肇庆高新区知识产权综合服务平台

一种基于用户访问偏好模型的海量小文件存储方法

发布者：

系统发布

联系方式：

平台代办

申请（专利权）人：

广东技术师范大学

发明（设计）人：

价格类型：

一口价

价格：

专利号：

CN201810500258.6

分类名称：

专利类型：

发明

专利状态：

已下证

授权日期：

2021-10-26

合作方式：

开放性许可

摘要：

本发明公开了一种基于用户访问偏好模型的海量小文件存储方法,先结合用户访问偏好模型找出关联性文件集合,再依次将其添加到待合并队列中,如果待合并队列中的文件大小超过128MB,则先将队列中的所有文件合并成一个数据块,并清空待合并队列中的文件信息和删除已合并文件的源文件,直到所有文件都添加到待合并队列中。如果文件添加完,待合并队列中的文件大小不够128MB,则将该队列中所有文件合并成一个数据块,并清空待合并队列中的文件信息和删除已合并文件的源文件;最后将已合并的所有数据块存储到HDFS系统中。采用本发明技术方案能提高小文件的读取效率,减少HDFS系统中namenode内存的消耗。

附图：