论文部分内容阅读
近年来,云计算作为一种在科技产业中具备革命性意义的信息处理方式,已经渗透到我们生活和工作的各个领域当中。云计算通过抽象计算、网络和存储资源,将分散的计算资源整合为一个超大规模的集群,使得集群资源能统一调度,按需使用,并对外提供一个统一的接口,极大地简化用户的操作和干预并提高了资源的利用率。而运行在云计算平台上的服务还具备高可用性。随着智能手机的普及,手写汉字输入凭借其良好的人机交互优势和所见即所得的优点受到了广大用户的青睐,已经成为几种主流输入方式之一。与此同时,庞大的用户群体通过日常使用而累积下大量的手写汉字数据。而这些数据可能存在较严重的冗余问题,即不同的书写者的书写风格对于识别引擎而言存在一定程度的冗余,如何找出其中的书写风格是一个研究的热点。此外,识别引擎可能会把字体错分类,如何快速找出被错分类的样本也是目前存在的难题之一。本文将详细地描述在云计算平台上进行大规模手写数据分析的研究。因此,本文以HDFS云存储平台和Spark分布式计算平台为基础,以海量的手写数据为切入点,提出一种从大规模手写数据中快速找出不同手写风格和奇异样本的方法。主要工作和创新点包括以下几点:1.首次采用HDFS云存储平台和Spark大数据处理平台构建了一个可用于大规模手写数据快速处理分析的平台,解决了大规模手写数据存储和快速分析的问题,为手写汉字识别的发展提供了必要的技术基础。2.依据不同特征的聚类效果对同一个汉字的手写字体的相似程度进行可视化评估,比较不同特征对手写汉字风格的辨析程度,并以此提出了一种在大规模手写汉字样本中找出不同手写汉字风格的方法。3.依据不同特征的聚类效果对同一个汉字的手写字体的错别字辨析能力进行评估,并以此提出了一种在大规模手写汉字样本中进行快速数据清洗的方法。4.对Spark平台在手写汉字处理中的性能进行评估,以此给出在手写大数据的应用场景下Spark的参数设置建议。