近年来,随着无人机技术的飞速发展以及逐年上涨的市场需求,无人机在各领域得到广泛应用且发挥着重要作用。随着“互联网+”时代的到来以及大数据技术的迅速发展,互联网中信息数据呈现指数增长趋势,如何在信息爆炸的时代获取所需的有效信息成为亟待解决的问题。本文采用B/S服务器模式,以分布式微服务架构为基础,基于分布式及增量式爬虫技术获取互联网中与无人机等应用领域相关的海量数据,采用自然语言处理、知识图谱、机器学习等算法从海量的非结构化文本数据中提取挖掘隐含及潜在价值知识,并利用Echarts组件及知识图谱等算法进行可视化分析,最后形成定制化的无人机知识库。主要研究内容如下:(1)知识获取及存储技术。系统以Scrapy为爬虫框架,采用分布式结合增量式爬虫技术从互联网中高效地获取无人机行业相关的海量数据;采用Redis高速缓存数据库存储爬取的URL网址,结合My SQL关系型数据库稳定地存储最终得到的结构化数据。(2)系统构建流程及架构设计。利用云计算技术的大数据管理平台,基于分布式服务器与大数据技术搭建系统,采用自底向上为主、自顶向下为辅的方式构建知识库;由于系统爬取任务量的增加及分布式服务器的需求,系统的架构也由最初的SMM单体式架构优化升级为Spring Cloud分布式微服务架构,以提高系统的扩展性及移植性。(3)数据提取及知识抽取技术。采用类机器学习机制半自动化地提取非结构化文本数据,通过构建自定义的规则库训练样本数据,提取出标签以匹配提取出的结构化数据;并利用自然语言处理等算法从获取的文本数据中提取关键句并生成文章的摘要信息;通过知识图谱等算法实现对获取的文本数据的知识抽取,最终抽取出结构化的知识元加入进知识库中,以实现知识库的知识发现与知识挖掘功能。(4)知识表示及数据可视化分析。采用知识树形式进行知识表示,并采用Echarts技术、知识图谱等可视化技术对获取及处理后的数据进行数据可视化分析,并以各类统计图表、关键字云图、机构同现及作者同现图等形式展现,直观清晰地展示无人机等行业领域的研究现状与发展趋势。