论文部分内容阅读
高维数据可视化是数据挖掘领域中非常具有挑战性的难题。传统高维数据可视化方法通过维数约减方法将高维空间数据点映射到低维空间,但会受到度量空间性质的限制,难以真实的表示非度量空间中的相似性数据,因为这些相似性往往是非传递的,它们共享不同的潜在的相似性成分。例如,从疾病表型的角度来看,很多复杂疾病是多种症状的特殊组合,这些与疾病相关症状往往揭示了一个共同的疾病机理和生理机制,但显然疾病表型之间的关系是非传递性的,因此疾病的表型的重叠导致某些类型的复杂疾病难以准确诊断。高效的数据可视化方法有助于发现复杂高维数据内部蕴含的潜在模式特征和不同维度的数据的分布特性,进而帮助研究者消除高维数据之间歧义性关系的影响并做出准确的判断与预测。本文主要研究工作如下:1)基于Nesterov动量的mm-tSNE正则化的高维数据可视化方法。mm-tSNE可以将高维空间中数据点可视化到低维空间。在目标函数的更新过程中,每个参数更新的方向不仅取决于当前的梯度位置,而且取决于最后的参数更新方向。基于标准动量的梯度方法更新方向不一定准确,而且步长过大,并致算法过度的振荡。基于Nesterov动量的mm-tSNE正则化方法计算参数每次迭代更新的梯度时先施加Nesterov动量达到一个新的临时参数位置,然后在当前参数位置计算更新的权重梯度,从而提供更大且更及时的梯度校正,这种改进使得Nesterov动量方法以更快和更好的响应方式更新梯度,在收敛性上比标准动量方法更快速和更稳定。实验结果表明,与原始的mm-tSNE,mm-tSNE正则化算法相比,基于Nesterov动量的mm-tSNE正则化方法获得了更好的可视化结果并且可以更好的表示数据之间的不可传递性相似性。2)基于自适应学习的mm-tSNE正则化方法实现高维生物数据可视化。在优化目标损失函数过程中,学习率是难以设置的超参数之一,对模型的可视化性能有着显著的影响。传统的采用固定的学习率来评估每次参数迭代的梯度,单一的学习率并不适合所有的梯度搜索方向,而损失函数通常对参数空间中的某些方向更为敏感。高的学习率对于低曲率的方向将会有好的作用,但对于高曲率的方向则会有所偏离。本文提出一种自适应算法学习的mm-tSNE正则化可视化方法,采用RMSProp方法根据曲率信息自适应地设置学习率,采用每个迭代参数的梯度指数移动平均值来归一化梯度,从而提供更好更及时的梯度校正。实验结果表明:基于自适应学习的mm-tSNE正则化方法获得了比原始的算法更快的收敛速度,降低了目标损失函数的错误率,证明了非度量属性在微生物数据集、生物数据集等数据集中普遍存在。使用新的优化方法学习算法的目标损失函数,更好的缓解了非度量空间性质的约束,因此可以更好的更快的表示相似性数据的非传递性。