【摘 要】
：
为了提高文本分类的准确性和运行效率,提出一种Word2Vec文本表征和改进注意力机制AlexNet-2的文本分类方法.首先,利用Word2Vec对文本词特征进行嵌入表示,并训练词向量,将文本表示成分布式向量的形式;然后,利用改进的AlexNet-2对长距离词相依性进行有效编码,同时对模型添加注意力机制,以高效学习目标词的上下文嵌入语义,并根据词向量的输入与最终预测结果的相关性,进行词权重的调整.实验在3个公开数据集中进行评估,分析了大量样本标注和少量样本标注的情形.实验结果表明,与已有的优秀方法相比,所提
【机 构】
：
广州理工学院计算机科学与工程学院 广州 510540;华南师范大学计算机学院 广州 530631;北京建筑大学电气与信息工程学院 北京 102406
论文部分内容阅读
为了提高文本分类的准确性和运行效率,提出一种Word2Vec文本表征和改进注意力机制AlexNet-2的文本分类方法.首先,利用Word2Vec对文本词特征进行嵌入表示,并训练词向量,将文本表示成分布式向量的形式;然后,利用改进的AlexNet-2对长距离词相依性进行有效编码,同时对模型添加注意力机制,以高效学习目标词的上下文嵌入语义,并根据词向量的输入与最终预测结果的相关性,进行词权重的调整.实验在3个公开数据集中进行评估,分析了大量样本标注和少量样本标注的情形.实验结果表明,与已有的优秀方法相比,所提方法可以明显提高文本分类的性能和运行效率.
其他文献
AMOLED生产工艺复杂,在生产过程中容易受环境、化学气体、液体洁净度及设备工艺参数的影响,在玻璃面板上形成大小不均的点状不良.当面板上出现大量不良点聚集时,会导致该面板直接报废,影响产品的最终良率.本文方法结合机器学习与图像处理技术,可实现不良坐标点MAP图的在线智能分析.采用层次聚类算法对不良坐标点进行聚集分类,对每类离散点簇采用Alpha Shapes算法提取其外轮廓点;通过图像区域拟合算法,拟合出每类点簇的最小包围图形区域,并计算图形的Hu几何矩,推导出各区域的区域特征(区域点密度、面积、区域的质
在新物流背景下,本文针对同城配送存在的成本和服务等问题,搭建同城配送云平台.首先,就“互联网+”时代“新物流”的背景进行阐述;其次,以线下到线上O2O模式的线下配送为例,分析现有同城配送方式的优缺点;最后,在“新物流”背景下基于大数据、人工智能、云计算等技术构建同城配送云平台体系,以期满足日渐增长的经济发展和消费者服务需求,为同城配送提供更好的运营模式.
生活垃圾图片背景复杂,同一类垃圾特征差异性大,给垃圾检测带来了极大的挑战.为实现复杂场景下生活垃圾的实时检测,论文提出了一种基于改进YOLOv3的生活垃圾检测算法RB-YOLO.在该垃圾检测模型中,将YOLOv3与轻量级卷积神经网络RepVGG相结合,解耦模型训练和推理,在保证特征提取能力的同时提高模型推理速度.采用加权双向特征金字塔网络BiFPN优化原有的特征金字塔结构,通过双向特征融合充分利用多尺度语义特征.同时引入空洞空间金字塔池化ASPP增强特征提取,获取多尺度特征信息.在提出的DGD数据集上进行
针对基于RNN的神经网络语音合成模型训练和预测效率低下以及长距离信息丢失的问题,提出了一种基于BERT的端到端语音合成方法,在语音合成的Seq2Seq架构中使用自注意力机制(Self-Attention Mechanism)取代RNN作为编码器.该方法使用预训练好的BERT作为模型的编码器(Encoder)从输入的文本内容中提取上下文信息,解码器(Decoder)采用与语音合成模型Tacotron2相同的架构输出梅尔频谱,最后使用训练好的WaveGlow网络将梅尔频谱转化为最终的音频结果.该方法在预训练B
随着出行者对交通信息的预期依赖的增加,构建和发展更为精准的交通流预测模型显得更加具有实际意义.ARIMA模型作为常见的时间序列处理工具被广泛应用于各个领域.然而,ARIMA预测模型构建是建立在平稳时间序列基础上的,但是其实建立在一元变量的基础上,并且在具体的模型构建过程中一元变量还通常会因差分而造成有用数据信息的丢失,影响最终预测结果.为此,本文考虑通过引入新的参数来弥补传统模型因差分造成信息丢失,构建基于交通流短期预测的ARIMAX模型.利用构建的ARIMAX模型对5天的交通流量进行预测,仿真显示模型的
基于物理信息的神经网络(Physics-informed Neural Networks,PINN),是一类用于解决有监督学习任务的神经网络,它不仅尽力遵循训练数据样本的分布规律,而且遵守由偏微分方程描述的物理定律.与纯数据驱动的神经网络学习相比,PINN在训练过程中施加了物理信息约束,因此能用更少的数据样本学习得到更具泛化能力的模型.近年来,PINN已逐渐成为机器学习和计算数学交叉学科的研究热点,并在理论和应用方面都获得了相对深入的研究,取得了可观的进展.但PINN独特的网络结构在实际应用中也存在训练缓
学习是一种复杂的事件.个体的学习效果受多方面因素的影响,且不同个体有不同的学习习惯,学生通常难以根据自身学习特点合理规划学习时间表.虽然目前有关任务管理方面的研究提出了一些具有通用性的理论管理策略,但其忽略了个体间的差异性;另外,现有研究不能提供一种计算方法来形成具体的任务管理方案.针对上述问题,文中通过数据分析找出学习效率与时间因素的关联性,从而理解学生的学习特征,量化出个性化的学习效率;使用二分图的方法构建学习任务分配场景,根据不同的学习目标设计自适应效用函数,并基于此提出了一种基于迁移学习的动态分配
金属材料在其物理及化学性质方面研究时,常需要显微图像作为数据来源.由于金属表面光线反射及显微成像原理等因素,图像极易引入散斑及高斯噪声,造成后续数据分析及应用精确度的下降.针对图像模糊原因,提出一种使图像清晰并降噪的改进SRAD-DWT算法模型,在降噪清晰的过程中既保留了图像细节信息又使图像得到合理的降噪处理.实验结果表明,提出算法在高低噪声情况下均展现良好的降噪性能及鲁棒性,使用有参考图像评价指标(PSNR与SSIM)评价模拟降噪情况,相较于传统降噪方式至少提升了 3.7％.应用于显微图像时,无参考图像
随着数据应用对数据质量要求的提高,时序数据清洗问题得到研究领域和应用领域的更多关注.在数据清洗过程中,错误数据检测和修复是两个关键步骤.近年来,研究人员在这两方面进行了诸多研究与探索.本文从时序数据质量问题、错误数据检测,以及错误数据修复步骤对当前研究技术等进展情况进行介绍,分析了当前时序数据清洗所存在的难点与不足.
在中国北方,冬季楼宇集中供暖采用的策略通常为气候补偿器,但是该策略严重依赖人工经验,调节相对粗放,如何优化供热控制策略对于保持楼宇室温的稳定舒适十分重要.对此,提出了一种基于深度学习的供热策略优化方法,通过学习历史真实数据信息从而对原始控制策略进行优化.首先以学习室内温度变化的热力学规律为目标,提出了一种深度多时差分网络MTDN(Multiple Time Difference Network)来对下一时刻的室温进行预测,该网络不仅准确率高,而且符合物理规律;然后将MTDN当成模拟器,以表征人体热反应的评