网络搜索数据的信号和噪声处理方法及应用研究——以九寨沟旅游为例

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:pupuaw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,互联网发展迅速,应用规模迅速扩大,互联网的应用经历了从量变到质变的过程。作为互联网的基础应用,搜索引擎和网络新闻的使用率迅速增长。搜索引擎的使用改变了网民信息搜寻的方式,扩展了信息搜索渠道,并将网民在线搜索的足迹记录下来,形成的在线数据为社会经济和网民行为的分析建模和预测提供了众多机遇。  自Ginsberg et al.(2009)开拓性地利用谷歌搜索数据预测美国流感疫情,引爆了学术界对于大数据在社会经济预测中的应用分析。然而Butler D.则发现GoogleFlu Trends在过去几年中对流感存在过度预测的问题,这种过度预测成为美国2013年1月流感疫苗短缺的罪魁祸首,并把这种过度预测和预测不足的现象称为“大数据傲慢”,引发了针对大数据预测能力的质疑和大数据“测不准”现象的激烈讨论。学者们开始对于大数据“测不准”现象背后的形成机制进行分析,认为主要由两个原因导致:(1)个体对预测结果的因应行为干扰;(2)预测期内噪声的干扰。  因此本文从网络搜索数据中的噪声问题出发,对搜索数据中噪声的形成机制、噪声导致的网络搜索数据“测不准”理论框架进行分析。并且针对噪声的不同类别,提出了一个较为系统的网络搜索数据的信号提取—→信号筛选—→搜索数据的指数合成—→噪声过滤—→预测能力分析的整体分析,并以“九寨沟旅游”为例进行实证讨论,取得了一定的理论和实证成果,并提出了相应的管理建议。  (1)本文在对信息搜索行为进行文献回顾的基础上,分析了网络搜索行为的幂律分布特征,发现网络搜索行为符合Zipf定律,为利用网络搜索数据进行应用研究时的搜索词信号筛选和提取提供了相应的理论依据和基础。  (2)分别从搜索词、网络搜索路径和事件影响三个方面,将网络搜索数据中的噪声分为搜索词本身的噪声、网络搜索路径中产生的噪声和事件性随机噪声。这三种不同类型的噪声分别需要不同的方法进行处理,避免了单一的噪声处理方法或者出现噪声无法有效分离和识别,导致噪声过滤后有效信号中仍存在大量的噪声干扰,预测能力下降。  (3)根据噪声产生的机制分析,提出了噪声引起的网络搜索数据“测不准”理论框架。整个理论框架形成一个包含了噪声干扰、网络信息搜索行为和预测行为的整体闭环,揭示了噪声在网络搜索数据“测不准”中的作用。  (4)提出了基于QCR-PGAM的两步信号甄别法,这种信号甄别法包含了基于QCR的信号提取和基于PGAM的信号筛选。基于QCR搜索链的信号提取有效过滤了由搜索词本身产生的噪声,提高了搜索信号的预测能力。而基于PGAM的信号筛选则有效过滤了由网络搜索路径中产生的噪声。通过对比分析发现,基于QCR-PGAM的两步信号甄别技术可以有效提高网络搜索数据的预测能力。  (5)提出了基于Hilbert-Huang变换的合成信号噪声处理方法和基于HHT-GAM的单信号噪声处理方法。这两种噪声过滤的方法主要针对事件性随机噪声的过滤。经过噪声处理后的合成信号和单信号的预测能力都较之前有显著性提高。  (6)基于GAM(Generalized Additive Model)广义加性模型对网络搜索数据和预测目标对象九寨沟客流量之间的动态影响机制进行了分析。根据EMD分解的结果,按照频率特征分别将网络搜索指数和九寨沟客流量分解为短期、中期和长期序列,GAM模型不仅给出两者之间的显著性关系,并给出各解释变量与被解释变量之间的非线性影响关系。研究结果发现,网络搜索数据和九寨沟客流量之间在各时期均存在显著的影响关系。
其他文献
2014年5月28日习近平总书记在第二次中央新疆工作座谈会上做出“新疆工作是全党全国的大事”的重要论断。作为新疆工作的重要组成部分,新疆工会组织服务职工群众的能力和水平,
本文探讨外销印刷企业的特点和需求,分析数字化工作流程的具体应用和实施步骤.数字化工作流程与企业ERP软件的有效结合,将带来管理方面质的飞跃.
在竞争日益激烈的环境中,现代制造企业常常通过顾客服务来赢取竞争优势。良好的服务是一家制造企业从众多竞争者中脱颖而出的关键因素,也是客户选购的重要因素,进而成为厂家的获
学位
近些年来,我国十分重视高铁事业的发展,我国的高铁交通网也逐步得以完善.但随之而来的就是动车检修工作任务逐步加重,在检修团队人员数量有限的情况下,检修工作压力逐渐增加.
重庆解放前夕,被关押在白公馆中的革命志士们,在生命的最后关头.共同讨论形成了一份关于地下斗争形势和经验的报告,其中第七部分是关于加强党的建设的八条意见。后来,这份报
发生在山西临汾、运城等地的“黑砖窑事件”,无疑是2007年最让国人震惊的黑色新闻。黑砖窑背后的奴工现象并不是2007年才出现的,山西省公安厅副厅长李富林在事件发生后的新闻发布会上承认,山西境内的黑砖窑非法用工问题,在上个世纪90年代即已存在。媒体对于此现象的报道最早可以追溯到1997年的《华西都市报》,近10年来,类似的事件不断地在各地报纸上零星出现,但都没有引起更大的波澜。  2007年。以山西
现如今,燃气被广泛应用在人们日常生活中,城市燃气建设工程随之增多.城市燃气企业是天然气利用环节中连接天然气长输管线与下游居民用户的重要一环,在连接地区发展和提高资源
新媒体是利用数字技术、网络技术、移动技术,通过互联网、无线通信网、有线网络以及电脑、手机、数字电视等终端,向用户提供信息和娱乐等内容的传播形态和媒体形态.充分运用
医院药房药品种类多、数量多,药师在日常工作中难免出现差错,这给药房药品的调剂带来了一定程度的压力,所以需要强化预防措施减少药房药品差错发生率.本文通过分析药品差错的
任何课程改革都是在一定的文化境遇中进行的,体育课程改革也是如此.体育课程改革必然要求体育课程与文化环境之间保持适当的张力,但当二者的张力过大时,就会造成体育课程改革