【摘 要】
：
互联网技术发展迅速,网络文本信息激增。信息传播迅速而广泛,对社会有着重大的影响,因此高效地分析和处理文本信息变得尤为重要。文本分类是处理文本信息的关键技术之一,它可以帮助企业等各种机构有效地组织信息。因此,文本分类技术的研究在社会应用中具有重要意义。在文本分类技术中被广泛使用的循环神经网络（Recurrent Neural Network,RNN）,由于其有时间方向的传播和层与层之间的传播的两个维
论文部分内容阅读
互联网技术发展迅速,网络文本信息激增。信息传播迅速而广泛,对社会有着重大的影响,因此高效地分析和处理文本信息变得尤为重要。文本分类是处理文本信息的关键技术之一,它可以帮助企业等各种机构有效地组织信息。因此,文本分类技术的研究在社会应用中具有重要意义。在文本分类技术中被广泛使用的循环神经网络（Recurrent Neural Network,RNN）,由于其有时间方向的传播和层与层之间的传播的两个维度的计算,导致其计算时间较长。为了改善这个问题,本文提出编码分布式计算的方法,将计算任务合理分配到工作节点上,使其运算复杂度减小。首先对RNN的分布式计算方法进行研究,采用移位锯齿码的编码方案实现RNN的编码分布式计算。在利用冗余解决了落后工作节点的问题的同时,计算复杂度也比传统的线性码低。并且,本文设计的是一次编码方案,主节点分发权重矩阵时只需要在第一次编码即可,后续权重矩阵的更新只需要在工作节点上对本地编码矩阵进行。此技术避免了神经网络权重矩阵的多次编码,也避免了更新权重矩阵产生更多的通信,节约了时间成本和计算资源。文本分类研究的初期,人们研究社交媒体用户评论、商品评价等中文短文本的分类,取得了较好的精度。但是当面临文本篇幅较长、类别较多的情况时,仍然需要有更好的模型来解决。针对待分类的文本篇幅较长的情况,本文提出了基于时间卷积的多层注意力模型,它由时间卷积网络（Temporal Convolutional Networks,TCN）和注意力网络（Attention Networks,AN）构成。TCN在保留住更多的历史信息同时又具有较快计算速度,而AN可以对不同元素进行注意力权重分配。TCN学习单词序列含义并返回与每个单词对应的向量,AN获取每个单词向量对应的权重。然后将这些词的表示形式进行汇总,以形成句子向量。句子向量使用相同的过程来产生文本向量。通过与其他模型进行比较分析,证明了此模型的分类结果比现有的模型的结果更加精确。并且,本文设计了针对该模型的一次编码分布式计算方案,使其处理分类任务时具有较低复杂度,同时提高了模型的可扩展性。
其他文献
近年来,预测股价对国家,社会具有深远意义而引起了研究者们广泛的关注。使用深度学习算法预测股票是该领域重要的一个分支。由于股票数据集较小,不平稳,存在不稳定性,使预测股价难度增加。并且传统的算法难以有效提取股票序列的非线性特征。随着深度学习算法的发展,循环神经网络和卷积神经网络因有较好的非线性特征提取能力而逐渐在股价预测应用中崭露头角。尽管使用传统的神经网络算法预测股价能取得一定准确度,优化算法的预
近年来,随着新兴社交媒体的火热发展,越来越多的人们使用在线社交平台来获取感兴趣的信息,而随着用户网络规模的越来越大,在线社交平台上信息鱼龙混杂,真假难辨,这就导致在线信息系统的治理出现诸多问题。例如不实新闻大肆传播导致社会公信度降低,哄抬物价非法赢利,传播不当言论导致的舆情监控等问题,本文从以下两个小方面切入,旨在为在线信息系统的治理做出贡献。一是从信息的传播过程。在追踪一条信息的传播时,我们通常
准确地预测股票价格对降低投资者的风险有着十分重要的意义。投资者可以通过对股价的合理预测来确定自身的投资组合,从而规避风险,获取更大的收益。虽然深度学习已经在股票价格预测上拥有很多的研究成果与实际应用,但是,仍然存在着泛化能力较弱,训练容易导致过拟合等基本问题,模型在预测阶段的表现较差。通常,数据增强以及合理调整模型架构能够有效地避免这类情况发生。本文主要针对长短期记忆网络（LSTM）在股票价格预测
股票市场作为社会经济的重要组成部分,为我国的经济发展发挥着重要的作用。投资者可以通过准确的价格走势预测,降低投资决策的风险。然而由于股票数据的非线性和非平稳特性,股票价格走势的准确预测往往非常困难。当前基于神经网络的深度学习算法（LSTM）,在股票价格预测中初步显示重要的算法优势。然而在训练过程中,仅仅采用梯度下降算法进行网络优化,预测的准确性有待提高。进化算法作为一种鲁棒性强全局寻优算法,可以用
物流行业发展面临着激烈的市场竞争压力和消费者服务要求不断升级的挑战。物流企业要在如此激烈的竞争环境中生存,提高企业的核心竞争力,物流车辆路径规划是物流管理中的关键环节之一,优化物流车辆路径规划对于减少运营成本和提高服务质量至关重要。由于车辆路径规划问题属于组合优化的NP难问题,该问题的求解存在诸多的困难,如算法的收敛速度慢,求解目标过多,问题约束苛刻等。为了平衡问题求解的时空复杂度,本文基于演化计
动态多目标优化问题无论在科学研究还是在实际应用中都广泛存在。此类问题不仅具有多目标优化问题的基本特征,主要表现在多个目标互相冲突无法同时达到最优,而且这些目标还会随着时间的变化而发生改变,如目标函数、目标函数的数目和限制条件都可能会随时间变化。这些动态变化可能引起问题的帕累托最优前沿（Pareto optimal front,PF）和帕累托最优解集（Pareto optimal set,PS）随着
卷积神经网络（Convolutional Neural Network,CNN）已经被广泛地应用在许多人工智能平台中。但是,由于卷积神经网络的推理过程涉及大量的数据迁移以及复杂的数据计算,它们仍然很少被部署在移动或边缘平台上。新兴的神经架构（Neuromorphic Architecture）旨在结合存内计算技术（Processing In Memory,PIM）来减少数据迁移,它采用三维堆叠的形
特征提取是数据分析中的核心步骤之一.如何从海量的数据中提取其有用信息已成为目前应用数学与模式识别领域的一个热点问题.常用的特征提取方法包括主成分分析（PCA）、线性判别分析（LDA）、局部保持投影算（LPP）和非负矩阵分解（NMF）.其中,非负矩阵分解（NMF）是主要针对非负数据的一种特征提取方法,其在人脸识别、聚类及高光谱分解等方面有着广泛的应用.然而,传统NMF还存在一些问题,比如没有充分利用
在现实工程问题中,多目标优化问题（MOPs）是一类非常常见的优化问题。多目标优化问题通常包含两个或两个以上相互冲突的目标。近年来,一系列针对不同类型多目标优化问题的多目标智能优化算法相继提出。然而,对于一些具有复杂的Pareto最优解集或最优端面的复杂多目标优化问题,它们的Pareto最优端面不同部分具有不同的收敛难度或者逼近的困难。因此,这类复杂多目标优化问题能有效地检验多目标智能算法的种群多样
目前,移动机器人的定位系统及算法在室内环境中已经取得了较好的定位效果,但是这些系统及算法在室外运行时会由于室外非结构化的环境、噪声和光照等各种因素的影响而无法很好地运行,因此室外移动机器人的定位仍然存在着许多问题亟待解决。本文主要研究使用视觉的传感数据在室外环境下移动机器人的定位问题,主要的研究内容如下:首先,针对移动机器人的定位问题,本文主要利用的是贝叶斯滤波的框架,已知贝叶斯滤波主要是通过运动