|
|
|
| 面向大数据的数据库划分FP-Growth改进算法 |
| 南昌大学数学与计算机学院 数字福建气象大数据研究所(闽南师范大学) 南昌大学际銮书院 |
|
|
|
|
摘要 提出了一种基于Hadoop架构和MapReduce编程模型实现的面向大数据的FP-Growth频繁项集挖掘的改进算法。首先将事务数据库按每个频繁1项进行抽取，生成对应的投影数据库，并将这些投影数据库分发到一个个节点机上；再由节点机对投影数据库进行划分，生成一个个规模更小的子数据库，并由节点机使用改进后的算法并行挖掘生成部分频繁项集；最后归并所有部分频繁项集得到全部的频繁项集。该算法无需像传统的FP-Growth算法一样为事务数据库生成庞大的FP树，有效解决了传统FP-Growth算法及其一些改进算法中因单机内存存储不下庞大的FP树而导致算法失效的问题。同时，由于所划分的子数据库规模接近，分发到各节点机上的负载更均衡，使得算法效率更高。
|
|
| 关键词 ：
频繁项集,
FP-growth,
大数据,
MapReduce编程模型
|
|
|
| 基金资助:数字福建气象大数据研究所(闽南师范大学)开放课题(202010704)~~； |
| [1] |
姚锋. 大数据时代期刊作者隐私保护的价值平衡与法治规范[J]. 南昌大学学报(人文社会科学版), 2022, 53(5): 67-. |
| [2] |
王琰赵婕. 大数据时代被遗忘权的现实逻辑与本土建构[J]. 南昌大学学报(人文社会科学版), 2020, 51(6): 103-. |
| [3] |
黄娅琴周婉滢. 大数据时代被遗忘权的正当性基础与保护路径研究[J]. 南昌大学学报(人文社会科学版), 2018, 49(6): 80-. |
| [4] |
白似雪； 段仕林； 梅舒. 基于关系数据库的关联规则挖掘算法DB-growth[J]. 南昌大学学报（理科版）, 2015, 39(01): 25-. |
| [5] |
谢霖铨； 章恩； . 基于FP-Tree的概念格量化约简及其在GIS的应用[J]. 南昌大学学报（理科版）, 2014, 38(03): 289-. |
| [6] |
彭永供; 王靓明; 朱敏; 段隆振. 基于散列技术的高效剪枝关联规则挖掘算法[J]. 南昌大学学报（理科版）, 2009, 33(05): 1-. |
| [7] |
樊玫; 段隆振; 陈桂香; 黄龙军. 基于事务压缩的频繁项集挖掘和更新算法[J]. 南昌大学学报（理科版）, 2006, 30(05): 1-. |
| [8] |
李淑芝; 郑剑. 一种基于Hash_tree的产生关联规则的方法[J]. 南昌大学学报（理科版）, 2004, 28(02): 1-. |
|
|
|
|
