论文部分内容阅读
随着经济全球化、金融全球化深入发展,世界各国和地区的金融机构在参与市场竞争中,对金融信息服务的依赖愈发强烈。加强金融信息服务,全面提高服务水平,是我国金融发展的客观需要。数据是金融信息平台的核心资源,任何金融信息服务都必须以完整、权威的数据为基础。在统一的数据规范保障下,金融信息平台数据库将集中收集整理和存储来自世界各地的金融数据、经济数据、行业数据以及各类资讯数据。网络资讯数据采集是资讯数据采集加工处理系统实现多途径信息采集的重要手段,它能够根据资讯数据采集加工处理系统用户定义的策略条件,自动定时对特定网站的页面内容进行抓取,并将抓取到的信息存入数据库,通过内容展现平台分类展现给用户,从而实现网络相关信息的快速整合。数据接入资源引进系统负责统一管理外部引进的第三方数据信息资源,统一对数据源进行接收、解析、处理和转换,然后采用一种标准格式分发给系统中各类应用。这样能够避免重复开发数据接收解析转换模块,有利于数据源集中管理。实时信息采集模块采集到的信息可以根据应用的具体需求存储到不同的目标上。用户可以根据实际需要设定存储目标,这些信息可以作为资讯数据采集加工处理系统中的素材来处理。引入资源数据采集是通过数据接入资源引进系统定义的数据源中进行获取,系统先自动对数据进行解析抽取,然后由内容管理人员进行内容编辑、分类、标注,最后内容审核人员进行审核后进入资讯库中。内部资源采集是对于原有内部系统来说,为了达到在金融平台中初始化数据的目的,需要这些系统提供批量的数据导出工具,比如对ERP内原有数据,需要通过ERP提供的一种NOTES网关接口工具来导出数据,推荐导出格式为符合W3C国际标准的XML格式。由资讯数据采集加工处理系统对这些数据进行处理后存入资讯库。对于多媒体资讯数据的采集,有二种情况,对于数字多媒体资源,直接采集。对非数字形式存放的多媒体资源,比如录音带,视频母带等,需要经过专用转换工具转换成数字资源,这个转换通过与特定资源对应的各种数据转换工具来完成。采集完成后,系统自动调用内容标引工具对多媒体数字资料进行自动标注操作,并在将其保存到资讯之前,自动对这些数字资源进行病毒扫描,确保系统安全。论文针对上述问题展开工作,提出了具体的数据采集和分析方案,并个给出了详细的设计。