互联网学术资源的规模在快速增长,对这些学术资源信息的处理、分析和存储成了当前亟待解决的问题。其中,中英文词语分析是中英文信息处理的基础与关键。通过分词,可以将连续的字序列按照一定的规范重新组合成词序列,为进一步处理信息提供了基础。基于字符标注的条件随机场(conditional random fields,CRF)等统计机器学习方法是中文分词的主流研究方法。目前效果最好的英文分词方法是基于规则的Stemmer等方法。学术资源中英文分词模块是课题组开发的学术资源推荐系统进行数据处理和分析的基础,对整个系统搜索、推荐等功能起到了重要的作用。学术资源数据需要使用分布式存储系统,以便更好地实现学术资源推荐系统的数据存储、检索和容灾服务。本论文从学术资源的中英文分词和分布式存储两方面展开研究和系统设计实现,具体研究内容和成果如下:(1)设计并实现了基于斯坦福分词器的学术资源中文分词系统。通过中文分词技术的研究、中文标注语料的获取、模型训练以及中文分词模块的封装,对比分析了基于CRF++的分词系统与斯坦福分词器的分词性能,实验结果表明斯坦福分词器对于学术资源信息分词准确率高、稳定性强且可扩展性较好。(2)设计并实现了基于Lucene的学术资源英文分词系统。分析了 Lucene源码,重写分词接口,实现英文分词的小写化、规则化,完成英文分词模块的封装,然后基于中英分词模块实现了学术资源多线程中英文分词模块的设计与开发。(3)设计并实现了基于HBase的学术资源分布式存储系统。通过对HBase存储、检索技术的研究,设计了学术资源存储方案,并完成系统实现。经线上运行测试,该系统支持海量数据存储,并且具有安全性高、检索速度快等特点。