为建立科学的评价体系,我国提倡使用以同行评议为核心,以文献计量学为辅助,定性定量相结合的评价方法。学术论文的同行评议文本难以获取和运用,同时已有的定量评价方法由于其先天依赖于单纯计数,缺乏深入文本内容的相关研究,给两种方法的融合带来了困难。本文以开放科学和人工智能相关理论和方法作为切入点,寻求学术论文定性定量相结合的解决方案。随着大数据时代的到来,开放科学运动为探索同行评议提供了机会,人工智能技术的快速发展与之相结合,为海量文本的智能化分析提供了极大的便利。有鉴于此,本文以计算机领域国际会议ICLR会议论文及同行评议数据为文本分析研究对象,探索以开放同行评议为主,利用人工智能技术分析其情感倾向和文本效用,结合已有的文献计量指标,构建学术论文画像进行评价。本文开展了如下主要工作:首先,挖掘同行评议文本中细粒度的评价情感倾向,以判断审稿专家对论文支持或反对的程度。通过观点挖掘方法智能地识别同行评议文本中的论文评价词,将论文评价词作为情感词典中的情感词,进而计算出整篇同行评议文本的积极和消极情感分数。分析结果表明,审稿专家推荐分数更高的论文包含更多的积极情感和更少的消极情感。积极和消极情感分数将作为同行评议的情感倾向性信息应用于学术论文评价中。其次,判别同行评议文本在论文审稿阶段的有效性,即是否对论文最终录用结果有影响,以判断同行评议文本中的评价信息是否具有参考价值。通过定义审稿效用的概念并利用情感分析方法自动判别出同行评议文本的审稿效用度。本文发现负面审稿意见以及录用论文对应的审稿意见审稿效用更高。审稿效用度将作为同行评议的审稿效用信息应用于学术论文评价。最后,以论文画像为载体,利用基于比较学习的方法对学术论文进行评价。论文画像融合了同行评议信息、文献计量学信息与论文主题信息,其中同行评议信息包含同行评议积极情感分数、消极情感分数、审稿效用度、审稿专家推荐分数与文本长度五项指标。论文画像方法具有良好的评价可视化效果。在此基础上,通过基于比较学习的论文画像分类方法对学术论文质量开展科学、全面且智能的评价。