多媒体信息语义理解是计算机科学与技术学科的经典问题之一，传统的多媒体内容分析与摘要技术关注纯内容分析，数据主要来源于专业网站，质量普遍较高；社会网络的兴起使得社会化多媒体内容主要由用户生成，具有规模大、质量低、社会化和个性化需求高等特点，用户无法高效的从海量数据中提取感兴趣的信息，因此社会化多媒体的自动语义分析与摘要技术愈发重要。社会化多媒体分析与摘要面临以下挑战，首先，用户生成内容（User Generated Content，UGC）使得多媒体信息数量激增，如何快速有效的组织和表示数据成为一大难题；其次，离散的信息发布和传播模式使得从全局角度发现不同粒度的热门话题成为自动搜索引擎的一大障碍；最后，快餐式的信息消费理念使得长篇大论更易受忽视，如何从海量数据中发现个性化的最有价值的信息是每个互联网用户正在经历的困境。为解决以上挑战，本文分别展开针对性的研究，研究内容主要包括：1.提出基于以数据驱动方式比较图像特征的特征间优势互补的融合算法。图像的特征表示是图像语义理解的基础，为解决数据组织和表示问题，本文选取当前最有代表性的几种图像特征，在大规模数据集上进行了比较和细致分析，得到了一系列图像特征提取的观察数据，并在此基础上以不同特征之间优势互补的思路设计了特征融合算法，实验表明，该融合算法可以显著好于单一特征。2.提出社会化多媒体数据的双向语义关联模型。社会网络中的多媒体信息关联关系是复杂多样的，为了更好的拟合数据分布和解决热点话题发现问题，本文提出一种针对多模态微博数据的双向语义关联模型，该模型可以灵活的适应数据中的多样的多媒体多模态信息关联，实验表明该模型在相关的应用中具有良好表现。3.提出社会属性感知的视频摘要方法。社会网络中的视频摘要相比传统的电影或者体育视频摘要具有内容不确定性和用户个性化需求高的新要求，本文提出一种结合内容重要性和个性化兴趣的社会属性感知的视频摘要方法，模型输出为一个视频故事板，包含用户感兴趣的个性化视频信息，实验表明算法既能捕捉到视频的重要内容又能满足用户个性化兴趣需求。