科学研究是提高社会生产力和国家综合国力的战略支撑。在全世界范围内,每年在计算机科学、基础科学、医学、经济学和社会学等一系列学科领域都会产出数以百万计的知识文献,呈爆发式增长势头。同时伴随着因特网的快速发展与普及,使得知识文献的传播和共享变得非常容易,由此进入到学术大数据时代。面对如此广袤的学术信息资源,如何对其进行智能的存储与挖掘,是一项尤为重要的工作,主要涉及到数据库系统、分布式计算和机器学习三个计算机科学领域的综合应用。本课题以国内学术搜索系统AceMap(亦称PaperBook)作为研究对象,通过设计关系型数据表以存储学术实体及其逻辑关系,针对系统存在的性能瓶颈提出了两种SQL查询的优化方法(分别基于传统关系型数据库和分布式架构下的系统环境),最后探索了基于分布式架构的机器学习框架在AceMap系统中的应用。本学位论文的主要贡献包括:·应用Window Functions机制(Partitioning分区、Ordering排序、Framing分帧)对AceMap系统中存在的大量分析型SQL查询进行了优化。实验结果表明,该优化能够在一定程度上提高系统性能,最高能够减少18.6%的查询执行时间。·完成部分学术大数据到Hadoop分布式文件系统的同步迁移,应用SQL-on-Hadoop技术框架SparkSQL执行复杂查询。同时,结合数据规模和分布式集群的结构,对Spark集群的核心参数(Spark执行器相关)进行调优。实验结果表明,该优化能够大幅度提高系统性能,最高能够减少93.9%的查询执行时间。·应用分布式机器学习框架Spark MLlib对学术主题进行了挖掘,拓展并提高了AceMap系统知识发现的能力。