金融数据Web抓取及处理系统的设计与实现

被引量 : 9次 | 上传用户:doodoo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着金融市场的全球化发展以及计算机网络技术的广泛应用,全球金融市场已经开始走向金融网络化,与此同时互联网业已成为企业、机构和个人获取金融信息的主要来源;作为专业金融信息服务提供商,在面对如此海量、繁杂的互联网金融信息资源时不可避免会遇到一个巨大的挑战,即如何从互联网中实时、快速地抓取和处理金融数据。RicGenerator(实习所在公司的项目名)就是在此背景下所开发的金融数据Web抓取及处理项目,该项目是一个利用Web数据抓取技术实时获取全球各个金融网站原始金融数据,并对金融数据做处理转换生成特定格式的金融数据文件的应用程序系统。在RicGenerator项目中,本人参与完成了系统架构的分析、设计和实现,包括表现层、业务层和数据层三层架构的详细设计与实现,以及文件系统操作、Excel进程操作、日志操作等系统公共模块组件的开发;参与完成了系统用户界面的设计,基于多线程技术的用户交互的实现;参与完成了Web内容抓取模块的详细设计与开发、Web数据抽取模块的详细设计与开发;此外本人独立完成了香港金融市场子模块的需求分析、设计、开发和测试工作。香港金融市场的Web数据抓取与处理任务包括Short Sell、Broker Page、Trading News、Warrant等19个子项目。本系统简化了香港金融市场Web数据抓取与处理人工操作流程,降低了公司人力成本,提高了Web金融数据获取效率和质量,从而改善了公司金融信息服务质量,提升了公司在金融信息服务行业的核心竞争力。
其他文献
通过对中程空空弹的简化建模与仿真,计算出中程空空导弹的攻击区,对计算数据进行分析,得到在马赫数、高度、速度、进入角等不同参数条件下攻击区之间的关系,采用最小二乘法对
为解决P2P与Grid混合模式下,寻找可信任的服务Peer的问题,设计了一种P2P-Grid环境下基于信任度推荐的P2P-Grid模型。通过自适应的方式构建超级节点,完成对网络的逻辑划分以及
网络游戏从上世纪末进入中国,经过了十余年的发展,已从引入期进入成长期,产业规模逐渐扩大。2010年中国网络游戏市场销售收入为323.7亿元,预计2015年中国网络游戏市场实际销
火电机组DCS监控系统的稳定运行是机组安全稳定运行的可靠保证,为防止发生突发性的DCS系统瘫痪事故,且能在事故发生时快速有效控制事故,防止事故扩大,本文依据耀光煤电机组实
为贯彻科学发展观.改善城市人居环境。各地城市绿地建设力度逐步加大。结合城市自身优势条件.做好树的文章,建设平原森林城市,能取得经济、环境和社会的综合效益。本文结合山东省
优秀的公司宣传类新闻稿对产品的宣传和企业的品牌建设起着至关重要的作用。然而,由于中英语言本身的差异,以及该类文本具有明显的宣传性特征,在准确把握原文意思的基础上,如
近年来,随着我国改革开放的深化、社会经济的发展、产业结构的调整,我国的就业压力急剧加大,尤其是高职学生的就业更成为一个亟待解决的社会问题。因此,在高职院校开展创业教
随着知识经济时代的到来,人才竞争逐渐加剧,人力资源在现代企业发展中已经占据重要地位。越来越多的企业为提高企业竞争力,积极探索有效的人力资源开发途径。培训在人力资源