【摘 要】
：
随着网络数据的迅速增长,网页数据抓取在处理大量数据时遇到了一些挑战,例如大量数据存储,需要密集计算能力以及数据提取的可靠性。提出了一个基于云平台的网页数据抓取架构,
【机 构】
：
上海理工大学光电信息与计算机工程学院
论文部分内容阅读
随着网络数据的迅速增长,网页数据抓取在处理大量数据时遇到了一些挑战,例如大量数据存储,需要密集计算能力以及数据提取的可靠性。提出了一个基于云平台的网页数据抓取架构,该架构使用AWS(Amazon WebServices)作为云平台,按需配置计算资源和数据存储;Selenium作为网页自动化工具,调用WebDriver API能够模拟用户使用浏览器。通过实验,比较了该架构与其他基于云的网页抓取架构的不同,并分析了它的优势。
其他文献
摘 要： ACM/ICPC程序设计竞赛是世界上最具影响力的计算机类学科竞赛之一，能够最直接体现学生对专业知识的掌握以及实践能力。ACM/ICPC集训在选手日常训练方面都有一套行之有效的机制，对学生的学习兴趣、分析解决问题能力、创新能力等方面的培养都起着推动作用，ACM竞赛是对学生实践能力最直接的考核。因此整合在线判题系统建设实践平台，将ACM/ICPC模式引入计算机专业实践教学，是提高计算机专业学
摘 要： 在隐私得到保护的前提下，为了解决位于不同自治域的主体之间动态地交换数据和实现资源共享的问题，提出了一个基于属性的授权机制。该机制依赖于信任的第三方或联盟中心，对位于各组织中的主体和对象的属性进行映射，以属性集合作为主体的代表，确保不同组织的属性集合具有一致的存取权限。在本机制中给出了跨域属性映射的模型和服务策略，并结合模型给出其工作流程，实现跨安全域的身份验证并进行授权。 关键词： 隐
随着社会经济的飞速发展，新课标改革的不断深化．人们越来越重视教师的课堂教学行为。初中政治课堂是开展学生德育教育工作的重要渠道，教师作为知识的传授者和学习方法的引导者在
体育教学中影响学生心理健康的不良因素主要有：①害怕心理；②逆反心理；③依赖心理；④焦虑心理；⑤孤独心理；⑥自责心理；⑦过敏心理；⑧冲动心理．⑨反感心理；⑩异性心理。其形成的原因主要
《基础教育课程改革纲要（试行）》指出：“大力推进多媒体信息技术在教学过程中的普遍应用，促进信息技术与学科课程的整合，逐步实现教学内容的呈现方式、学生的学习方式、教师的教学
数学是人类数形交流的语言，数学能赋予人创造性。从学生发展角度来说，掌握各学段数学知识和技能能促进学生逻辑思维的发展。新课程改革注重教学实践，立足课堂探究，着眼学生综合发
介绍了多元正态分布及边界判别方法,详细阐述了数据降维方法中的主成分分析(PCA降维),分析了MNIST手写数字数据库的数据结构和数据读取方法,论述了基于多元正态分布的手写数字识别方法的整个实验过程。实验结果显示,经PCA降维后的手写数字呈现多元正态分布的特征,使用正态分布的边界判别方法对手写数字进行识别运行效率高。
文科专业是我国高校普遍设立的专业，但许多学校文科专业的课堂教学却并不成熟。导致教学效果差，培养出的学生素质低，无法满足社会对于文科专业人才的需要。本文就针对这种现象，对
课程改革与建设是教学改革的核心，通过《建筑工程定额与预算》课程的建设与教学改革，在教学内容、教学方法、教学手段、实践教学以及教学考核等方面进行实践探索，取得了一些经验