随着经济的发展,商业数据信息已经成为个人和企业规划的一个重要参考因素。而大数据技术的发展,提高了人们处理数据的能力,使人们可以更有效地利用数据。Eikon是汤森路透最重要金融信息服务平台。它为全球想从交易与投资机会中获利的金融专业人士提供强大的商业市场信息、分析和独家新闻组合。但是,由于目前需要处理的数据量过大,且预计还会继续增大,导致Eikon在执行数据更新、搜索、维护方面效率低下。且当前数据集扩展性不高,扩容和维护成本巨大。本人希望对Eikon数据集进行重构,这样既能提高数据搜索、维护的性能,又能降低数据集的扩展和维护的成本,从而提高整个Eikon的易用性。基于以上目标,本方案的基本思想是利用空间换取时间。利用大数据处理技术,对数据按照一定的逻辑进行关联,形成数据视图。当逻辑视图建立起来后,它将被作为SQL的查询语句的结果生成出来,并存储在Hbase中。当用户请求数据查询时,现有复杂的SQL查询语句会被一个更快的更简单的数据库数据获取、扫描所代替。这样,不仅有助于用户高效的使用数据,也有助于系统高效的维护、更新数据。该解决方案会以系统项目的形式进行实现。在整个项目方案的设计与研发过程中,本人主要负责数据管理模块、数据处理模块、规则转化模块、任务调度模块的设计与开发工作。整个项目基于Linux平台,选择Spark+Hadoop+Hbase开源大数据架构,使用Scala+Python语言,保证了本方案具有较强的可扩展性。本文以构建新型结构的数据集为研究目标,对商业信息的分析和树形数据结构的构建等关键技术进行了研究。目前,该方案第一版本系统的开发工作已经结束,目前正处于试运行阶段。运行效果符合方案的设计目标。运行期间积极接收用户和数据的反馈,用于将来的更新与改进。