APT组织实施网络攻击过程中,在恶意软件指控、窃取数据回传等阶段会向某域名发起DNS请求,然后与解析出来的IP地址进行数据通信。行动过程中使用的域名,被称之为恶意域名。恶意域名本身及其产生的网络行为特征,是关联APT活动或组织的主要途径之一。因此,针对恶意域名快速且准确的检测技术可以大大提高APT发现的概率。真实网络环境中,恶意域名检测主要面临如下难点:其一,数据体量大且无标注信息。数据体量大导致很多算法的时间开销呈指数级增长,无标注信息导致有监督的算法失效。其二,数据分布极端不平衡。主要体现在恶意域名在DNS流量中占比很低,且呈随机化分布。导致很多算法在此类非平衡数据集下检测效果不理想,相关模型泛化能力不足。在此难点的基础上,本文主要贡献如下:（1）实网采集某能源、金融、科技、电信、其他行业等,下属若干单位镜像DNS协议数据;提取域名文本、词法、WHOIS信息、查询与响应以及DNS解析五个类别56种数据特征,其中23种首次提出（使用）;提出基于特征异常程度的数据优化方法,构造多种差异化无标注实网DNS流量数据集。解决了使用开源数据集训练的模型泛化能力不足的问题。（2）提出基于向量夹角波动矩阵的异常检测模型。模型认为恶意域名及其产生的网络行为在整个域名数据集空间中的分布特点与异常检测技术中对离群值的定义相符合。基于此,模型将恶意域名检测问题转化为异常检测问题。使用无监督学习规避了真实DNS流量无标注信息的问题;解决了样本极端不平衡条件下的分类问题;模型核心算法大量采用矩阵加速运算过程,解决了数据体量大导致模型时间开销增大的问题。（3）提出具有多判别器的卷积编码特征提取模型,为该模型设计基于最大互信息与先验分布加权的损失函数。卷积编码特征提取规避了人为提取特征时的主观偏见和特征工程中对专家经验的高度依赖;模型损失函数,通过最大化局部特征与编码特征之间的互信息、全局特征与编码特征之间的互信息,可以约束模型提取到区分度更高的编码特征;先验分布对编码特征的分布进行约束,方便后续检测模型对该编码特征进行学习。整合上述模型和功能模块形成域名检测框架D2（Domain Detection）。通过与多种异常检测模型进行大量对比实验,结果显示本文提出的模型在算法稳定性、模型时间开销、恶意域名查准率和误报率等指标,综合评价达到最优,论证了本文提出模型的可靠性和有效性。