论文部分内容阅读
分析师常常通过数据探索理解数据内在规律和模式,验证猜想和理论。传统的数据探索常常通过试错的方式来对数据中的规则进行逐个验证,这在小的数据集上尚且可行,但随着大量的商业组织尝试互联网化,海量的用户数据需要被记录和分析,传统的手工试错方式已经无法满足现有的分析需求。工业界和学术界也提出了许多数据探索的方法和实践,但更多地侧重于一次性的离线数据探索,难以满足分析师灵活的交互式数据探索需求。 针对当前的问题,设计了一个通用的交互式数据探索框架,该框架改进了传统的离线数据探索模式,定义了交互式的探索操作,同时支持了多种探索算子的后端实现,提供了多样化的探索目标。使得分析师通过交互式的手段动态探索海量数据成为可能。本文在研究和实现方式上,遵从了自顶而下的设计原则,具体而言: (1)在框架的整体设计上,给出了架构方案,详细介绍了相关模块的功能和职责。 (2)讨论了框架中算子的数据模型和算子定义,并与传统DBMS算子相融合,拓展了SQL语句。 (3)给出了探索算子中一种可解释性的规则挖掘算子的具体设计和实现。首先给出了规则挖掘算子的形式化描述,接着证明了该问题是一个NP-hard问题,然后针对这个问题给出了一个贪心的近似解,最后并对原有贪心算法进行了性能优化以满足交互式操作的需要。 (4)在真实的数据集上验证了我们的规则挖掘算子,分析了算子的计算性能和探索结果。