心音信号和心电信号作为常见的医疗时序数据,具有易采集、价格低廉、无创无损及重复性好等特点,在医学临床中被广泛应用于疾病预防、初步诊断及病情的长期监测。对这些医学时序信号进行准确处理与分析,可更好地协助医生把握病情,制定疾病预防和治疗方案,从而提升全社会的整体健康水平。经过几十年的发展,传统信号处理方法对心音信号和心电信号的分析与应用已取得长足进步,但处理该类时序数据时仍然面临诸多挑战。尤其是在面对心音信号这类高维时序信号和胎儿心电图这类易受外界环境影响的时序信号时,传统的机器学习方法很难取得进一步提升。近年来,神经网络方法在许多实际应用领域取得显著进展和突破,因而通过神经网络方法对心音信号和心电信号进行有效分析和建模成为该领域的研究热点。本文针对心音信号和心电信号两类医疗时序数据,以时序状态检测及时序分类问题为应用场景,通过神经网络方法针对以下问题展开研究:1)现有神经网络算法在医学时序标注任务中,未有效利用时序信号的长时上下文关系;2)现有算法面对高维医学时序信号需提取人工特征,而其特征提取算法设计于特定环境,导致不利于算法泛化能力的提升和多任务应用;3)现有基于神经网络方法的医学时序信号分类虽然取得较好识别效果,但未能提供更多医学诊断信息;4)现有算法处理医学时序信号时,提取信号关键有效特征不足,从而导致序列检测准确率及泛化能力不佳。基于上述问题,本文提出多个基于神经网络的时序算法,用于心音信号状态检测、心音信号分类及胎儿心电信号检测任务中。本文的创新点与主要贡献包括以下几个方面:1.分析了心音分段任务的建模过程,将心音分段过程表达为序列标注任务,提出基于全局结构特征的神经网络序列标注算法,该算法利用自相关分析提取心音信号全局结构特征,从而提高心音各阶段状态检测的准确性。心音分段是心脏疾病自动分析的关键步骤,其目的是检测心音信号中第一心音,第二心音,收缩期和舒张期四个状态。现有神经网络心音分段算法对长时上下文关系利用并不充分,本文使用自相关分析提取心动周期结构信息,并将其与传统时序特征在回复网络中融合,以提高心音状态检测准确率。本文提出的算法在真实公开数据集上进行了性能测试,并与现有两种代表性算法进行比较,实验结果表明,该算法在不同容忍时间窗口中皆有更好的性能表现。此外,在影响算法性能的时序信号长度及端效应问题方面,该算法亦具备优势。2.研究了心音分段时序特征提取的适应性难题,提出基于端到端时序特征表达的神经网络序列标注算法,该算法可直接处理原始音频信号,从而简化了心音信号处理步骤并赋予算法更好的数据适应性。现有心音分段算法为应对高维音频信号的挑战,需提取符合心音时序标注特性的特征表达,以减少信号中冗余信息干扰。因特征提取算法依赖于特定数据及采集环境,这些人工特征在实际应用于心音分段算法时需耗费大量时间及人力以验证其是否有效。此外,新的心音标注任务需要新的时序特性表达,需重新构建和设计特征提取算法。本文提出基于卷积网络和长短时记忆网络的端到端心音分段算法,直接利用原始音频信号实现心音分段,该算法简化了心音信号处理步骤,提高了心音信号分段在不同数据上的适应性,并赋予算法多任务能力,通过在真实公开数据集上与基准算法的比较,证明了该算法的性能。3.研究了心音信号的分类任务,提出基于多尺度时序检测的神经网络分类算法,将心音分类问题转化为心脏杂音标注问题,实现了面向单个预测的局部可解释性。现有神经网络心音分类算法将心音信号作视为一个整体,可预测心音样本类别但无法获取医学可解释性信息。因此,本研究将心音信号分类问题转化为对心脏杂音的时序标注问题,以解决神经网络方法在临床应用中的可解释性难题。为进一步提高在心音时序中对心脏杂音的检测能力,提出了一种基于多尺度时序检测的神经网络心音分类算法,通过在基准数据集上的实验证明,该算法具有更好的分类性能,并在时序标注性能是优于其他算法。本文将心音分段任务及心音分类任务集成于同一个算法,并通过获取心脏杂音位置信息,实现心音信号分类的局部可解释性。4.研究了无创胎儿心电图的胎儿R峰检测任务,首次通过神经网络序列标注算法直接在腹部心电信号中标注和检测胎儿R峰,提出了基于记忆门控编码及时序解码的神经网络序列标注算法,该算法简化了R峰检测处理流程并有更好的时序标注性能。现有胎儿R峰检测算法需首先从孕妇腹部心电信号中剔除母亲心电信号成分,本文将胎儿R峰检测过程建模为序列标注任务,直接在孕妇腹部心电信号上检测R峰位置。为进一步提高检测准确率,本文提出了一种基于记忆门控编码及时序解码算法和训练策略,基准数据集实验证明该算法与其他序列算法相比有更好的性能。本文针对标签序列中类别不平衡问题,改进了算法损失函数以获取更好的标注性能及更快的收敛速度。此外,本文测试多种目标标签编码策略以评估算法多任务能力,并对信号通道数量等影响性能的因素进行了研究。利用以上研究成果,本文设计开发了“基于物联网的心音信号自动分析系统”1。该系统通过物联网采集心音信号数据,实现了心音质量评价,心脏循环和心脏储备功能量化测评,心脏杂音时序检测及心音信号分类等功能。