随着医疗信息化的快速发展,各种类型的医院信息系统收集到种类越来越丰富的医学数据。如何对这些数据进行有效的检索和挖掘,从而找出医生感兴趣的信息和隐藏的知识将帮助医生结合自身经验更好地开展诊疗工作。但是,医学数据中存在大量不同的种类,而且不同种类的医学数据之间存在明确的语义关系,同时在检索时也缺乏固定的文档结构。这些特点使得医学数据成为了一种特殊的多模态数据。在对医学数据进行检索时,这些特点也使检索算法需要满足多模态和跨模态的需求。传统医学数据管理技术和现有针对单模态数据的信息检索技术无法进行基于模态融合的数据检索。针对多媒体文档的模态融合和检索技术不考虑数据中存在的语义关系,无法对医学数据进行基于语义关系的模态融合和数据检索。针对多模态医学数据中语义关系明确的特点,本文首先对模态的概念进行了分析和定义,进而提出了模态网络模型。利用该模型,本文完成了对医学数据中模态和模态间语义关系的建模和基于图数据库的存储,从而在存储层面对多模态医学数据中丰富的语义关系进行了描述,为基于语义关系的模态融合与数据检索建立了存储结构。在建模和存储的过程中,为了改善数据加载的效率,本文还使用了并行化策略对多模态医学数据进行了加载。实验证明,该并行加载算法在正确建模的基础上,具有较好的加载效率。在解决了多模态医学数据语义关系的表示和存储问题后,本文基于模态网络和图结构的医学数据,提出了多模态索引图模型作为多模态医学数据的索引结构。该索引结构将数据间的语义关系传导至数据的索引之间,利用索引间的语义关系计算出了不同模态间的相关性,进而利用模态间的相关性对不同模态进行融合。最后本文整合模态网络模型、多模态索引图和数据存储图,提出了多模态医学数据的检索框架。基于该框架提出了针对多模态医学数据的检索模型和检索算法。实验证明,该检索算法能够满足多模态、跨模态的检索需求。综上,本文针对多模态医学数据所具有的特点,提出了以模态网络模型为核心的相关概念,实现了多模态医学数据基于语义关系的模态融合。在模态融合的基础上,本文进一步借助语义关系实现了医学数据的多模态、跨模态检索。