论文部分内容阅读
维吾尔文常用切分方法会产生大量的语义抽象甚至多义的词特征，因此学习算法难以发现高维数据中隐藏的结构．提出一种无监督切分方法dme-TS和一种无监督特征选择方法UMRMR-UFS．dme-TS从大规模生语料中自动获取单词Bi-gram及上下文语境信息，并将相邻单词间的t-测试差、互信息及双词上下文邻接对熵的线性融合作为一个组合统计量（dme）来评价单词间的结合能力，从而将文本切分成语义具体的独立语言单位的特征集合．UMRMR—UFS用一种综合考虑最大相关度和最小冗余的无监督特征选择标准（UMRMR）来评价每