面向区块链的数据分析平台的设计与实现

来源 :山东大学 | 被引量 : 0次 | 上传用户:guansuwei9
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
区块链自诞生以来便受到了广泛的关注。随着区块链技术的发展,许多问题也随之而来,如用户隐私泄露、非法金融活动等。目前,区块链中的数据不断增加,但是只有通过数据分析后获得的数据,才是有价值的数据。而比特币的公有链中,节点可以获取该公有链中的所有数据,为比特币的数据分析提供了数据接口。数据分析人员可以通过获取公有链的交易数据,对该链中的数据进行分析,进而分析数据交易背后的行为,了解和解决相关问题。因此,一个能够高效处理、计算海量数据并对数据结果进行可视化的数据分析平台是及其重要的。本文所描述的数据分析平台是基于比特币的,包含了数据获取、数据存储、数据分析以及数据可视化等技术。本数据分析平台主要包含数据获取、数据处理和数据展示三大部分。系统通过比特币钱包中数据文件提供的索引,按顺序获取数据,然后对数据按需求处理后进行存储。利用Spark SQL组件对数据活跃度进行计算;并利用Spark GraphX框架对交易数据进行图计算与分析;通过Spark MLlib库对异常交易进行识别。计算后,系统将结果通过图表、文件等方式展示。从功能层面上,系统功能又可分为五个模块,分别为数据获取模块、数据展示模块、数据计算模块、数据识别模块和用户管理模块。数据获取模块为用户提供获取数据的接口;数据展示模块中将活跃度指标用折线图的方式呈现;数据计算模块中用户上传数据集,并使用系统提供的计算方式进行计算,计算后将结果保存至文件中返回页面,可供用户下载:数据识别模块中,用户输入需要识别的信息,上传至数据集中计算识别,系统计算后,将信息与结果比对,判断是否为异常交易。本项目使用Java语言获取数据,MySQL数据库存储数据;利用Scala语言、Spark计算框架和HDFS分布式存储文件进行数据计算;最终基于Springboot架构设计,形成一个参数化的、可用性良好、交互友好的系统平台。
其他文献
伴随着中国经济实力在世界经济格局中进一步增强,中国正在走近世界舞台的中央。在这个过程中,提高制度性话语权就显得尤为重要。提高制度性话语权的要义并不是迫使其他人做出某
会议
1993年密西西比河的特大洪灾促使人们重新思考:人类、河流、野生生物这三者之间的关系……这是一个温暖和煦的春日,Owen Sexton在密西西比河和密苏里河交汇处的洪水多发区里
人与自然的关系一直是全人类不断探索的主题,人们对自然有着天然的好奇心,强烈的求知欲驱使着人们去探索自然,发现自然。蝴蝶这一元素从古至今都是人们不断探索、不断使用的主题,并且不同地域的人们对蝴蝶都有着各自的文化解读,爱情、自由、灵魂、长寿、福气等都可以被一只小小的蝴蝶所承载。正是这些不同的文化内涵造就了千姿百态、各不相同的蝴蝶艺术作品,这些精美的作品背后向我们传达的是不同文化的传承与情感的诉说。蝴蝶
反渗透是一种很有前途的垃圾渗滤液处理技术.通过反渗透膜的垃圾渗滤液出水回收率占其体积的75%~80%,截留了垃圾渗滤液中几乎全部的污染物质,产生的浓缩液回灌到垃圾填埋层,
聚醚砜(PES)是一种综合性能优异的高分子材料,如良好的热稳定性、化学稳定性、耐酸碱性、易成膜性以及出色的机械性能,是目前应用最广泛的水处理膜材料之一。然而,PES膜在进行
社会主义新农村建设为增加农民收入、促进农村发展创造了条件、提供了机遇。是促进社会和谐发展的有效途径。然而,在新农村建设中,有三大因素影响着县域经济的发展,在很大程
期刊
为分析基层质量监督机构在履行政府监督职责中存在问题,对某市水利工程质量监督现状进行了剖析,以便对质量监督进行综合评价研究,在工作中加以改进和提高;文章结合实践归纳了
“食为政首”,农业是崮民经济的基础,粮食则是基础的基础。在当前形势下,要充分认识到粮食供求矛盾的复杂性和长期性。从长期看,我国人口多,耕地少,土地后备资源不足,人增地减和居民
目的:探讨多通道输血在消化道大出血治疗与单通道输血的临床效果。方法:选择收治的上消化道大出血失血性休克患者80例,按照随机数字法分为2组,每组各40例,观察组立即由2组护士
当前我国资本市场的直接融资渠道有股权融资和债权融资。相比股权融资中IPO需要经过证监会严格审查,债券融资程序简单,满足条件的企业都可以发行。近几年债权监管放宽,市场发展火热,其中公司债券的发行更是受到企业的青睐。自2007年“07长电债”首发以来,公司债券的发展也经历多番变故,2009年曾一度终止,禁止发行公司债券。2014年实施《公司债券发行和管理办法》以后,从各个方面“解禁”公司债的发行。公司