现今,随着互联网的广泛应用,以互联网电商、手机短视频等为代表的互联网应用得到迅速普及,全球范围内的数据容量正以前所未有的速度快速增长。“数据过剩”但“信息匮乏”的现象日益突出,从海量数据中挖掘具有价值的新知识的需求愈发凸显。面对海量数据,传统知识发现算法存在对硬件需求激增和效率低的问题。本文对现有知识发现算法进行研究,提出基于“粗调与精调”工程思维的知识发现算法(FAMCF),提高海量数据知识发现的效率。主要研究内容包括:(1)针对传统Apriori算法处理海量数据所遇到性能低下的问题,在“粗调”阶段提出缩小知识挖掘范围的优化算法(ICRP-Apriori)。该算法采用剪枝技术,进行两阶段剪枝,首先引入项目约束对频繁项集进行剪枝;其次通过卡方检验对候选规则集进行剪枝,剔除非目标规则提高关联规则挖掘效率。实验结果表明,该优化算法在效率上优于传统Apriori算法。(2)为了进一步挖掘更细粒度的知识,提出一个马尔科夫链预测模型的转移矩阵自适应计算方法。该方法将转移矩阵的估计误差映射为预测值的误差,通过评价指标ρ实现转移矩阵的自适应取值和计算,进而得到关联规则关联度的细粒度量化值。(3)提出综合粗调与精调方法的FAMCF知识发现算法。该算法将ICRP–Apriori算法和基于马尔科夫链的预测模型进行融合,针对海量数据实现知识由粗粒度到细粒度的挖掘。结合具体医疗电商实例数据,对FAMCF进行验证。实验结果表明,本文提出的FAMCF算法在性能上优于传统的算法。