论文部分内容阅读
DeepWeb中相当一部分内容因为动态网页存在而不能进行有效抓取。为此，设计并实现一种基于Web自动化测试工具——WatiJ的DeepWeb网络蜘蛛。阐述利用WatiJ实现用户提交查询表单、循环点击翻页按钮等拟人交互方式的原理，通过实例给出动态网页抓取的关键步骤。实验结果表明，该蜘蛛是针对授权数据源进行动态网页抓取的一种有效解决方案。