20世纪90年代起,大数据搜索引擎开始出现并不断发展。随着时间推移和技术积累,大数据与人工智能技术被陆续应用在智能搜索领域中,搜索引擎的性能方面已有明显改善,能够实现在全局搜索过程中的动态跟踪。但现有智能搜索引擎的搜索流程框架和智能追踪引导两方面仍没有太大改进,无法为用户提供高智能的搜索结果。因此,如何在当前大数据信息繁杂、密度低下的情况下快速检索出对用户最有价值的结果,并且能够使用新的基础框架与技术为用户提供更加个性化的服务。当前所面临的一个关键问题是选取工程领域内高收敛速度、高适用性的优化方法应用于大数据搜索引擎的优化。本文首先对大数据搜索引擎在国内外的研究情况以及取得的显著成果进行了分析,总结出现有大数据搜索引擎存在的实现困难、框架复杂、处理步骤繁多等特点。其次,本文针对现有搜索引擎无法动态跟踪并分析用户请求、缺乏个性化精准服务等问题,提出一种基于Hadoop和i Map Reduce的分布式智能搜索引擎框架,并利用差分演化算法对搜索路径进行优化。随后详细介绍了如何选取差分演化算法的参数因子以及对非结构化数据进行爬取、处理和存储的过程,建立了基于差分演化的大数据搜索引擎模型。本文以大规模天气领域信息下的天气搜索引擎为例,实现了一个基于改进差分演化算法的天气大数据搜索引擎。最后,本文将设计的天气大数据搜索引擎进行实验对比,以验证差分演化算法对大数据搜索引擎的优化效果,同时验证迭代式i Map Reduce对搜索精度与搜索速度的优化效果。实验结果表明,本文所使用的搜索优化与算法优化相结合的策略十分有效,使大数据搜索引擎的检全率及检准率得到显著提高。其中检全率、检准率对比初始模型分别提升7%、5%。搜索速度对比初始模型提升94%,对比开源引擎ES提升20%。最终证明本文提出的优化方法应用于大数据搜索引擎的优化是可行的、高效的。