基于机器学习的恶意URL识别研究及其系统实现

来源 :广东技术师范大学 | 被引量 : 0次 | 上传用户:jialufeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
新冠肺炎疫情的蔓延,使得人们更加依赖互联网线上服务,而随着计算机性能与网络带宽的不断增强,许多基于客户端的互联网线上服务开始转变为网页应用服务。统一资源定位符(Uniform Resource Locator,URL)作为网页应用服务的入口,在便利人们生活的同时也带来了网络风险。因此,在互联网线上服务主要以URL为入口的背景下,如何准确高效的识别出恶意URL,降低用户面临的网络安全威胁,是网络安全领域急需解决的问题。传统恶意URL识别方法,如黑名单过滤法、规则匹配法和主机行为交互分析法存在维护成本高、识别精度低和性能开销大等问题。为此,本文基于机器学习理论开展融合多维特征的恶意URL识别方法研究,能够以较高的识别精度和识别效率完成恶意URL的挖掘;同时,本文结合在深信服公司实习期间,所参与的恶意网络情报信息分析工作中的经验与心得总结,开发出一套恶意URL识别系统,成功部署在实际生产环境中,取得良好的实际应用效果。论文的主要工作包括:(1)通过阐述失陷指标(Indicator of Compromise,IoC)概念、恶意URL的类别与威胁形式,表明恶意URL作为恶意IoC的最重要一种,存在极高的工程价值;分析恶意URL的静态与动态识别技术,阐述了恶意URL识别技术中常用的经典机器学习分类算法。(2)构建工程数据集,从真实生产环境中的设备安全日志中提取数据,进行数据清洗、筛选与过滤工作,根据识别恶意URL所需的特征,进行数据预处理,构建符合规范的数据集。(3)针对当前识别方法缺乏真实生产数据以及工程实用性较低的缺点,结合机器学习理论,立足于真实生产环境,提出了一种基于多维特征融合的恶意URL识别方法,并开展相关实验,验证了该方法的可行性与效果。(4)设计并实现了一套恶意URL识别系统,系统自动化地从安全设备日志中批量获取与URL相关的特征数据,数据经由前文提出的基于多维特征融合的恶意URL识别方法处理,识别出相应的恶意URL,采用Web页面的形式进行可视化呈现。(5)通过集成调试后,将系统部署到实际生产环境中,经过多轮磨合测试,当前该系统每日能从多类安全设备的日志中挖掘超过一千条的恶意URL,有效地丰富了企业威胁情报库。研究结果表明,与传统恶意URL识别方法相比,本文所提的方法在计算资源能力有限的工程实际场景约束下,能以较低的性能开销完成五类恶意URL的识别。本文所设计并实现的系统在实际生产环境中实测运行良好,系统采用模块化的设计框架,能支持其他恶意信息识别算法的搭载,为后续多类恶意信息的全面挖掘提供强有力的支持。
其他文献
广东省规划了“双十产业”集群,其中智能机器人领域属于十大战略性新兴产业之一,是粤港澳大湾区高质量发展的重要抓手。作为职业教育的重要组成部分,中职学校肩负着为新兴产业集群培养高技能型机器人创新人才的重任。中职《工业机器人操作与编程》教学模式应该精准针对企业用人的关键职业能力与职业素养要求进行改革创新。STEAM的核心素养教育理念能培养学生在科学、技术、工程、艺术、数学等方面的综合素养,助力提升学生的
学位
介绍了新设计开发的节电节省砌炉费用的砌筑方法及镁质材料在高碳铬铁电炉上的应用,重点总结了延长炉衬寿命的“四步法”。应用经实践证明:此砌筑方法可提高炉衬寿命,具有隔热保温及降低电耗的特点。
期刊
非易失性晶体管存储器件(NVTM)以其独特的优点引起了人们的广泛关注,如非破坏性读取、与集成电路的良好兼容性、可溶液加工和机械柔韧性等。最近的研究主要致力于提高数据保持时间、耐疲劳、开关比、非破坏性读出功能、机械柔韧性和印刷的可行性,以及降低工作电压和编程脉冲宽度,特别是提高数据存储密度。虽然已经取得了巨大的进展,但是获得基于用溶液可溶解的介电层和半导体的高数据存储密度的NVTM,并且具有大规模生
学位
随着信息时代的发展,信息素养成为每个社会成员必须具备的素质。同时,信息素养对于中职学生职业能力发展、终身学习能力提高具有重要作用。《Web前端开发》是中职计算机专业的一门专业课,同时在高职和本科阶段也是一门非常重要的课程。在互联网快速发展和高职扩招的背景下,传统的《Web前端开发》课程逐渐显现出一些问题,如教学内容老旧、无法满足行业发展和学生升学需求,课程的组织和实施不适合中职学生的发展,忽略学生
学位
期刊
近年来,随着互联网的蓬勃发展,企业对软件开发人才提出了更高的要求。因此,中等职业教育结构需要不断优化,软件开发人才的培养质量需要逐步提升。中职学校的实训课程对中等职业教育人才的培养至关重要,实训课程需要将理论与实践相结合。根据企业对技能型人才的现实需求,将企业开发项目融入到中职实训课程的开发更符合实训课程的特点。在中职的信息技术类课程中,《Java程序设计》是一门十分重要的专业核心课程。因此,开发
学位
随着互联网技术的快速发展,新应用大量涌现,网络流量爆发式增长,静态的网络拓扑无法适应动态变化的流量,导致网络性能下降。针对该问题,本文提出一种基于流量预测的智能拓扑重构策略。首先,利用深度学习模型预测未来多个时隙的流量,然后,利用深度强化学习模型构建适应未来多个时隙流量的虚拟网络拓扑(Virtual Network Topology,VNT),在降低网络时延的同时减少网络抖动。(1)为充分利用流量
学位
办成社会接轨、学生认可的中职教育是中职教育的宏伟目标,而信息化教学和校企合作是中职教学改革的必经之路。但现阶段部分中职课程仍采用传统的教学方法,原因在于混合式教学没有形成系统的教学模式,教学中一些基础性的教学原理并没有被广泛应用。五星教学原理指出了五项基础性教学原理,适用于教育和培训、线下和线上教学环境,强调e~3(效果好、效率高、参与度大)教学,可以作为混合式教学的指导性理论。本文以中职课程《图
学位
随着移动互联网的快速发展,以哔哩哔哩、抖音为代表的短视频平台快速崛起。短视频大多为用户发布,其发布具有随机性,且一经发布会在短时间内获得大量访问。对热门短视频的重复访问,为核心网带来巨大负载。将热门内容缓存到距离用户更近的网络边缘,可以减少网络负载,降低用户访问时延。如何快速、准确地预测出短视频的流行度是实现高效缓存的关键。传统的内容流行度预测算法大多针对文本、图像和长视频等利用早期流行度预测未来
学位
<正>氢气燃烧时不会产生污染,是极具潜力的二次能源。20世纪以来,世界各国对于氢能源开发与利用的重视程度不断提高。相比化石燃料,氢气无论是应用于内燃机还是燃料电池,都具有更高的效率。储氢也逐渐成为了氢能产业链的核心环节。中国立足碳达峰、碳中和目标,积极推动氢能产业发展,氢能产业发展潜力正逐渐释放,并将逐步成为中国能源战略的重要组成部分。随着氢能在汽车动力中的应用,车载高压储氢压力容器技术也将快速发
期刊