论文部分内容阅读
针对现有Web正文抽取方法适用性差、准确率低的问题，提出了一种基于文本特征值的正文抽取方法。该方法通过对Web页面的代码进行预处理，再解析转换成DOM树；通过遍历DOM树，以节点的文本长度和标点符号权重计算DOM树各节点的文本特征值，并通过标准差消除噪声；通过高斯函数为节点的文本特征值进行平滑处理，缓解节点文本特征值的突变，降低短文本节点丢失的可能。实验测试结果表明，该方法不依赖标签，也无需训练数据，具有较好的通用性和较高的正文抽取准确率。