论文部分内容阅读
随着金融市场的全球化发展以及计算机网络技术的广泛应用,全球金融市场已经开始走向金融网络化,与此同时互联网业已成为企业、机构和个人获取金融信息的主要来源;作为专业金融信息服务提供商,在面对如此海量、繁杂的互联网金融信息资源时不可避免会遇到一个巨大的挑战,即如何从互联网中实时、快速地抓取和处理金融数据。RicGenerator(实习所在公司的项目名)就是在此背景下所开发的金融数据Web抓取及处理项目,该项目是一个利用Web数据抓取技术实时获取全球各个金融网站原始金融数据,并对金融数据做处理转换生成特定格式的金融数据文件的应用程序系统。在RicGenerator项目中,本人参与完成了系统架构的分析、设计和实现,包括表现层、业务层和数据层三层架构的详细设计与实现,以及文件系统操作、Excel进程操作、日志操作等系统公共模块组件的开发;参与完成了系统用户界面的设计,基于多线程技术的用户交互的实现;参与完成了Web内容抓取模块的详细设计与开发、Web数据抽取模块的详细设计与开发;此外本人独立完成了香港金融市场子模块的需求分析、设计、开发和测试工作。香港金融市场的Web数据抓取与处理任务包括Short Sell、Broker Page、Trading News、Warrant等19个子项目。本系统简化了香港金融市场Web数据抓取与处理人工操作流程,降低了公司人力成本,提高了Web金融数据获取效率和质量,从而改善了公司金融信息服务质量,提升了公司在金融信息服务行业的核心竞争力。