论文部分内容阅读
互联网技术的快速发展促进了经济与社会的发展,网上购物、娱乐与社交等互联网新兴事物的迅速普及为民众的现代生活提供了极大的便利。但与此同时,网络环境的复杂性和信息系统的脆弱性也带来了一系列的安全问题,造成了巨大的负面影响。网络钓鱼是互联网安全的巨大威胁之一,已经造成了严重的社会影响及经济损失。网络钓鱼千变万化的形式、爆发式增长的态势,给检测方法提出了更高的要求。钓鱼网站是网络钓鱼实施诈骗的主要工具,研究有效的钓鱼网站检测技术,减少钓鱼网站给互联网用户带来的持续困扰,是一项重要而又紧迫的研究任务。 本论文以提高钓鱼网站检测的准确率为目标,研究互联网中钓鱼网站检测的相关方法与技术,包括:基于两步式投影寻踪的特征工程方法、基于混合特征的钓鱼网站表征方法与混合特征的融合方法。在此基础上,研究移动终端恶意软件APP的检测技术。本论文的主要贡献如下: 1.针对钓鱼网站的特征表征问题,提出了基于两步式投影寻踪的特征工程方法,用于构建钓鱼网站的检测模型,该方法可有效地提高钓鱼网站检测的准确率,并降低误报率。本文通过解析URL与HTML页面内容,提取特征向量。使用基于遗传算法的Wrapper方法,将特征划分为关键特征与非关键特征。对于非关键特征,没有简单地将其删除,而是提出两步式投影寻踪算法将其投影到一维特征空间中。最后,将新产生的特征结合关键特征,构建钓鱼网站的检测模型。 2.针对英、中文网站,提出了基于文本、URL和HTML混合特征的表征方法,并采用基于极限学习机的集成学习技术,构建钓鱼网站检测分类模型,有效地降低了检测漏报率。基于URL和HTML的方法对检测挂在合法网站域名下的钓鱼页面具有较高的漏报率,而基于页面文本的检测方法通常无法检测图片格式的钓鱼网站,进而产生漏报。因此,本文提出使用以上特征构成的混合特征,并结合基于极限学习机的集成学习技术构建分类模型,用于降低钓鱼网站检测的漏报率。 3.针对网站文本与URL和HTML的融合问题,提出了半特征级-半决策级融合的方法,用于构建有效的特征向量,提高检测的准确率。对于页面文本,首先计算其TF-IDF值,然后按照数值从大到小排序,将前N个词汇作为文本的关键词,建立决策模型,鉴别其类别标签,将此标签作为特征,与基于URL和HTML的特征进行混合,用于构建钓鱼网站检测模型。 4.针对移动终端恶意软件轻量级检测,提出了基于Fisher准则-遗传算法(Fisher-Genetic Algorithm,F-GA)的特征选择方法,成功应用于Android平台上的恶意软件APP检测。在移动互联网中,钓鱼网站的表现形式是移动恶意软件APP,可以采用移动恶意软件的检测技术。因此本文提出了基于Permission、API和Dalvik指令的混合特征,并结合F-GA特征选择算法,构建有效的特征向量,用于Android平台上恶意软件APP的检测。