当今移动通信网和互联网飞速发展,传统的诈骗形式已经衍变为了与网络空间密不可分的新型网络攻击—社会工程学。网络空间安全中的社会工程学围绕核心要素“人”展开,将传统的面向物理域和信息域的网络攻击扩展到面向认知域和社会域的网络攻击。当前社会工程学研究主要集中于网络钓鱼、电信诈骗等典型攻击形式的检测方法研究,也有少量研究与社会工程学模型理论相关,但总体来说缺少面向社会工程学主体认知域和社会域特性的探讨。面向认知域,本文围绕社会工程学展开了从社会工程学模型到身份认证、检测方法关键技术应用的一系列研究。研究结果促进了对社会工程学面向认知域攻击行为过程的理解,也为社会工程学防御提供了理论和方法支撑。本文的主要贡献包括以下方面:(1)提出了基于对话-会话的社会工程学模型。当前已有的少量模型欠缺对社会工程学攻击连续性的探讨,缺少与传统攻击组合的考虑,没有提炼社会工程学主体认知域要素。针对这些问题,引入会话和对话机制,将一次完整的社会工程学攻击(社会工程学会话)描述为多个社会工程学原子攻击(社会工程学对话)的有序组合,详细探讨了社会工程学原子攻击的阶段产出以及相互之间的衔接关系;并在攻击阶段划分上考虑与传统攻击的有机结合;采用攻击图对该模型进行了形式化描述,高度抽象社会工程学认知域攻击要素;最后通过典型实际案例对该模型进行了解释。(2)提出了面向社会工程学的身份认证方法。身份认证是社会工程学中攻击者与被攻击者建立连接关系的关键步骤。本文梳理了社会工程学中身份认证的过程,建立了面向社会工程学的身份认证模型,详细描述了社会工程学身份认证过程中存在的核心要素。在该模型的基础上,通过分析社会工程学中存在的身份威胁,提出了面向社会工程学的身份认证方法,涵盖面向中间认证的社会工程学身份威肋突破能力评价方法、面向社会工程学身份威胁的用户认证方法和人机认证方法。最终,通过典型实际案例和公开数据集对提出的方法进行了解析和验证。(3)提出了面向攻击行为的社会工程学检测方法。当前的社会工程学检测方法欠缺对攻击行为本质特征的分析和应用。通过分析社会工程学攻击行为,提出了基础层、逻辑层和认知层统一构成的社会工程学攻击行为特征体系,并在此基础上提出了面向攻击行为的社会工程学检测方法。面向钓鱼短信这一典型的社会工程学攻击形式,对提出的特征体系和检测方法进行了应用和验证。基于钓鱼短信文本,提取了基础层字词特征、逻辑层主题分布特征和认知层心理词汇特征,构建了钓鱼短信攻击行为特征空间,并采用过采样和特征优化方法解决了钓鱼短信检测中存在的数据不平衡和特征空间优化问题,最终在公开数据集上验证了特征体系和检测方法的有效性。