论文部分内容阅读
移动互联网,就是将移动通信和互联网二者结合起来,成为一体。随着宽带无线接入技术和移动终端技术的飞速发展,人们迫切希望能够随时随地乃至在移动过程中都能方便地从互联网获取信息和服务,移动互联网应运而生并迅猛发展。而伴随着智能手机性能提升及移动互联网发展,越来越多网民开始使用手机接入互联网,因此对移动互联网的分析显得愈发的重要。域名系统(英文:Domain Name System, DNS)是因特网的一基本项服务,它作为将域名和IP地址相互映射的一个分布式数据库,能够使人更方便地访问互联网。无论是传统的PC互联网,还是现在呈爆发式发展移动互联网,几乎都是基于IP网络来实现信息通信服务,而这些服务都要通过域名访问来定位相应的网络资源。而作为记录了丰富移动互联网访问信息的DNS日志,当然可以被用来对移动互联网进行适当地分析,并在此分析的基础上进而对移动互联网的访问模式等进行研究。本文基于DNS日志,对移动互联网进行了分析,主要的研究工作包括:首先,介绍了如何通过运用HDFS(Hadoop Distributed File System)和Hadoop分布式编程手段,从现有的静态报文中去存储和分析海量移动互联网DNS日志的方法。其次,利用对基础DNS日志信息进行预处理之后得到的数据进行统计规律分析。主要分析对象为,查询域名、请求查询域名的所属ISP((Internet Service Provider,互联网服务提供商)、服务器端IP、DNS查询类型、rCode等等。得出在一天之中,用户对移动互联网访问的行为表现有别于传统PC互联网一天的行为表现的结论;得出域名的访问量呈现出28原则,也即帕累托法则;而用户的查询量分布则呈现幂指数分布。再次,运用图论建模,并采用矩阵乘法的思想,运用并行分布式框架Map/Reduce去解决DNS域名全连通问题。在这个部分中,我们借鉴了三种不同的矩阵乘法思想,分别实现了三种全连通的办法。