最近十年,随着大数据处理平台,云计算等技术等一些基础设施技术的蓬勃发展,人工智能和机器学习发展迅猛。伴随着谷歌旗下Deep Mind的Alpha Go在围棋领域的突破,以及特斯拉引领的汽车自动驾驶潮流等一系列的标志性事件,人工智能一跃而起,成为了时下最为火热的话题之一。Transporter是一个某银行内部系统开发的数据库元数据收集系统最初在2010年被引入。Transporter系统主要每天收集用户在公司内部所有种类数据库中每个数据库的权限信息,并分析计算潜在风险,以确保企业数据库安全政策。现有的系统使用Data Collection Metrics Report中一些指标固定的增量阈值,并结合下游的埋点测试用例,确认数据采摘的质量,即成功或失败。但固定的增量阈值并不能很好的反应数据库中内容的变化。如上游的元数据出错,导致一列字段大多数都计算错误,但总数的变化没有改变,依然会被认为这次数据采摘刷新是成功的。亦或者数据总量的变化刚好超过了固定的阈值,实际成功采摘刷新却被认为是失败的。面对这一痛点,我们期望在现有的系统中引入机器学习的模型去动态识别阈值,并期望找到一种方法,快速的计算出数据库中权限内容的相似度。经过对问题的初步研究和相关文献查阅,我们发现机器学习的一些方法能够很好的训练一个动态化的模型。此外,在自然语言处理领域,常常会使用Hashing-TF或TF-IDF等一些手段先对文本段落提取特征,随后使用余弦相似度,斯皮尔曼相关系数等一些方法去计算两者相似度。因此,本次研究将参考文本相似度的计算方法,将其引入计算结构化数据库的内容相似度。这也是本文比较主要的创新点之一。本次研究的数据为2020年1月2号到2021年1月1号期间约一年的数据,通过对历史归档数据的切割,我们得到了Sybase和DB2两种数据库的历史用户权限信息。在对数据相似度的研究中,我们发现使用皮尔逊相关系数结合稠密的Hashing-TF特征向量能够很好的近似杰卡德相似系数,而余弦相似系数需要结合稀疏的Hashing-TF特征向量。考虑到越长的特征向量会在计算时带来越大的时间开销,我们最终选取皮尔逊相关系数去快速的计算近似的数据库用户权限内容的相似度。在构建模型的实证阶段,我们使用GBDT,随机森林模型和XGBoost算法分别初步构建了模型。我们发现XGBoost相比GBDT和随机森林模型能够很好的应对不平衡数据的问题。当使用SMOTE和ADASYN算法后,都能显著提高这些模型的AUC指标,即能够很好的应对不平衡数据。此外,考虑到过多的特征会带来模型过拟合的问题,我们使用了XGBoost和随机森林的特征重要性作为依据,进一步的筛选了模型的特征,并且发现我们专门引入的Sybase和DB2数据库相似度这两个特征都有很高的特征重要性。最终,通过网格搜索调参生成的ADASYN-XGBoost混合模型在各指标上都有不错的表现,能够很好的解决我们最初的实际问题。本文的主要成果和创新点是使用了目前新颖的机器学习模型解决了Transporter系统面临的实际问题,并将将文本相似度的概念引入到结构化的数据库内容对比中。