论文部分内容阅读
针对主流电子商务网站上的商品数据进行查询，在基于C＋＋搜索引擎Xapian技术上设计出针对商品信息查询的网络爬虫架构，并通过改进的SLASA算法和DNSCache技术抓取下载主流电商网页中商品数据，将荻取到的数据通过baidu，google等搜索引擎及pageRank算法进行二次过滤后存储到数据库中，再通过判权算法筛选用户所需数据，将筛选出的商品信息回馈给用户，达到方便用户选取到价格低廉商品的目的．