随着互联网技术的发展以及网络电视平台的兴起,用户的需求也不再是简单的观看视频,还想在观看的同时寻求他人的见解或表达自己的观点。与传统评论区不同,视频实时评论即“弹幕”有着实时性强,互动性强,包含用户情感等特点。视频实时评论生成可以应用于提高视频或直播间人气,产生实际的经济效益,加强视频与用户的交互,提高用户的观影体验。视频实时评论自动生成任务是一个多模态任务,在生成实时评论时需要结合视频的图像信息以及视频周围的实时评论文本信息。但是以往的研究中,在进行两种信息融合时会丢失长距离依赖信息。除此之外,一个视频的原有文本中有着很多与视频内容无关或者语义不强的语句,对实时评论生成的效果起到负面作用。针对上述两个问题,提出了一种基于记忆单元与多模态融合的视频实时评论自动生成模型（Memory Multimodal Stack Transformer,MMST）。该模型主要由三个部分组成。第一部分是特征提取器,其主要作用是对原始视频以及视频周围的评论文本进行处理并提取特征;第二部分是特征编码融合器,该部分首先会将前一部分提取的特征输入到文本过滤单元中,使用提取到的视频特征对文本进行过滤从而强化文本信息的作用。之后再将计算结果与视频特征输入到堆叠的含有记忆单元的Transformer中进行编码。最后将两种生成的实时评论表示输入到融合门结构中进行融合;第三部分是视频评论生成器,将第二部分得到的融合结果通过Transformer的解码器结构进行解码,最后根据概率生成实时评论。使用公开的Live-Bot数据集,并提出了密集评论生成训练模式。在此之上,对上述提到的所有模块进行了消融实验,以证明模块单元的有效性。除此之外,也对MMST模型中的超参数进行了敏感性实验,以让模型达到最佳效果。实验结果表明,文本过滤单元以及记忆单元均可以提高视频实时评论生成的效果。MMST模型在Live-Bot数据集上,评测指标高于基线模型。