论文部分内容阅读
为了提高大数据处理平台Flink与MongoDB之间的读写速率,本文提出并实现了一种高效的Flink与MongoDB连接中间件。基于Flink的并行化思想,通过对数据进行逻辑分片,调用Mongo-Java包中的接口实现并行化将数据读取和写入。以不同规模的水文传感器数据集作为实验数据,实验了在Java单线程操作、Hadoop与MongoDB连接器和本文提出的Flink与MongoDB连接中间件三种连接方式下数据的读写速度。结果表明,Flink并行读写数据效率较于单线程提高了1.5倍,验证了该连接中间件可以有效地提高对海量数据的读写速率。