论文部分内容阅读
随着贸易国际化进程的加快,传统的限额、关税等壁垒逐渐减弱,关注健康、生命和环保的技术性贸易壁垒(Technical Barriers to Trade,TBT)逐渐加强,对进出口贸易产生着深远的影响。由于 TBT的原因,我国出口贸易每年都遭受巨大的经济损失,而且还在逐年加重。因此,为了合法、有效地保护我国产业和企业的正当权益,维护公平竞争,及时收集、跟踪国外TBT信息,建立TBT预警机制,将损失降到最低,已经成为我国出口贸易亟待解决的重大问题。
本文从信息获取、指标体系建立、常用预警方法以及预警模型等方面对当前TBT预警研究现状进行分析和综述,对文本挖掘的常规阶段和流程进行阐述,对文本聚类的常用算法以及聚类中的特征选择算法进行系统介绍和论述;在此基础上,结合TBT预警的基本原理,从网络信息获取和信息处理两个角度进行实验分析,引入基于本体的主题爬虫(Focused Crawler),构建基于 SOM(Self-Organizing Feature Map)的两阶段文本聚类模型,将信息获取和信息处理有机联系在一起,对TBT预警研究有一定的借鉴意义。
本文的主要成果有:
1.在信息获取方面,利用如今在信息搜索领域有重要作用的爬虫技术,引入作为第四代搜索引擎研究热点的主题爬虫,建立电子信息产品领域本体,结合向量空间模型(Vector Space Model),使用Heritrix的扩展定制类从海量数据中筛选主题相关数据信息,从国外网站抓取与电子信息产品领域相关的网页。实验证明基于本体的主题爬虫能够抓取与预设主题相关度较高的网页,在节省网络资源的同时提高抓取效率,达到获取大量主题相关新闻报道的目的,也为下一步研究奠定了良好的基础。
2.在信息处理方面,以主题爬虫获取的网页文本信息作为数据源,构建基于 SOM的两阶段文本聚类模型;依据网页文本数据的结构特点,提出改进的TFIDF(Term Frequency& Inverse Document Freqency)算法,并应用于两阶段聚类的中间环节,对高维的特征向量空间进行降维,以提高聚类的准确性和高效性,最后通过MATLAB进行建模仿真,给出TBT走向的预测分析。