当前网络商品发布量和交易量迅速膨胀,但是消费者对互联网的“信任和安全”却在不断下降。针对这一矛盾,复旦大学软件学院电子商务研究中心开展了对互联网商品监测技术的探讨,并就其中的关键问题——互联网商品信息抽取进行了深入的研究。目前网页抽取有很多种方法,但其中大部分都由人来标记抽取结果,一旦减少人为参与,信息抽取准确率也会随之下降,另外许多方法不能适应网页的变化,一旦页面更改,就需要重新构建页面信息抽取的包装器。针对上述问题,本文提出了基于结构语义熵的网页识别和抽取算法。该算法利用了网页结构,通过计算商品信息的聚集程度,可以实现页面主体部分的识别。文章首先对目前互联网商品信息发布情况和特征作了调查,并根据这些特征构造出了适用于商品信息抽取的语义词典,在语义词典知识表达方式的设计中借鉴了本体的知识表达方法(如各种关系的定义),该词典可以帮助在页面中定位到那些用户感兴趣的商品信息和帮助判别商品种类。在此基础上,结合网页结构和商品的特征信息,利用结构语义熵的商品信息抽取算法,识别出页面主体部分,从而实现自动的商品页面识别与抽取。该算法可以很好地与元搜索技术、网络爬虫等技术结合,使商品信息抽取过程实现自动化,包括新网站的发现、页面的自动获取,页面识别和信息抽取等,大大降低了信息抽取过程中的人工干预程度。文章以药品监测系统为背景,展示了该框架在实际系统中的具体应用。通过该算法框架的应用可以极大地提高商品信息抽取的自动化程度和覆盖面,为规范与全程在线监测互联网商品发布信息,保障互联网安全在线交易,提供了技术上的可行性。通过结合特定行业或领域的特点,进行一定范围和层次的个性化定制工作,即可推广应用到特定行业或领域,具有广阔的产业化前景。