论文部分内容阅读
异常数据检测与处理是数据仓库系统中数据清洗领域的研究热点。该文提出一种基于置信区间的偏离群数据检测方法，从总体中筛选出有效样本，利用遗传算法从中找到可信样本，利用可信样本确定置信区间，基于置信区间对总体进行检测及处理。该方法所处理的数据不需要与时间相关，且可以快速地识别、检测出大数据量中的“脏数据”。实验结果表明，该方法能有效地解决无规则状态下的偏离群数据的检测，并在实际应用中取得了良好效果。