论文部分内容阅读
近年来,“互联网+医疗”的蓬勃发展使医疗服务逐步走向数字化、移动化、智能化。在众多的医疗服务信息中,门诊信息是医疗机构面向广大患者的信息窗口,是医疗资源配置优化研究不可或缺的信息源。然而,门诊信息在互联网中的分布相对分散,各医疗网站呈现信息的页面结构繁复多变,信息更新具有随机性。因此,如何实时、准确地获取有效数据面临着一定的挑战。为了实现对医院门诊信息的实时采集与智能处理,本文采用任务管理的思想,运用Web数据采集、数据解析和数据存储等相关技术获取并处理各大医院的原始门诊信息,并对发生变化的信息进行实时更新。首先,对系统的应用场景、功能需求和性能需求进行了详细的分析,并对网络爬虫、PHPcURL、正则表达式、phpQuery框架以及MySQL等系统实现过程中需要用到的相关技术进行了研究。其次,对系统进行了整体设计,完成了系统架构和主要功能模块的设计。系统从逻辑上划分为管理层和执行层两层架构。管理层通过任务调度程序和数据库表设计,完成任务调度管理和数据管理的功能;执行层采用任务驱动的设计模式,按照采集信息的类型划分成若干个任务,每个任务分别完成数据采集、数据解析和数据存储的功能。再次,完成了系统关键算法的设计与分析验证。为了保证医院数据更新的时实性,设计了一种基于网页更新频率的动态更新算法,根据目标网站的医院门诊信息的更新频率,动态地调整任务调度和信息采集的频率;同时,为了提高系统采集的效率,研究比较了两种并行采集策略,并选取了性能较优的先到先处理的多线程并行采集策略进行任务的采集。最后,搭建开发环境,根据对系统的设计完成了整个系统的实现,并从功能和性能两个角度对系统进行了测试,展示了系统的执行结果,验证了系统在医院门诊信息采集和处理方面的可行性和有效性。