基于图像/自然语言融合的机器人肖像绘制技术研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:xx495355910
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本课题以人脸图像为主要研究对象,将人脸图像转换为具有艺术家绘制风格的肖像素描画,并将得到的肖像画通过处理、计算得到可供机械臂绘制的坐标序列。具体内容如下:(1)研究了语义分割的发展现状,利用双边分割网络Bise Net作为分割的基础网络,并针对它网络较浅、上采样方式粗暴等缺陷对其进行了一系列改进,主要有:在空间路径中加入残差模块以增加空间路径的深度,重新构造了上下文路径使其更充分地利用不同尺度的特征图,使用更加柔和的上采样方式使边缘处的分割精度更高。通过改进的Bise Net网络实现了人脸不同部位的分割。(2)研究了现有的风格迁移的方法,提出并实现了一种基于改进的APDrawing GAN的将人脸真实图片转化为具有艺术家绘制风格的肖像素描图的方法。以整体人脸照片以及分割后的眼睛、鼻子、嘴等部位作为输入分别送入改进后的APDrawing GAN可以得到具有肖像图风格的图片。为了使得到的肖像图线条更加干净、简洁,我们在APDrawing GAN的顶端增加了一个素描简化网络作为本文风格迁移方法的第二阶段,通过素描简化网络可以删去第一阶段APDrawing GAN生成的肖像素描图中存在的大量琐碎、杂乱的线条,使素描图中眼睛、鼻子等处的线条更加连贯、干净,通过这种方法得到的肖像素描图更适合于机械臂绘制。(3)研究了现有的语言描述生成图像的方法,设计并实现了一种基于堆叠式生成对抗网络stack GAN的文本生成图像模型,并对模型进行一系列的扩展,包括:将生成任务拆成更多子阶段以减轻每阶段网络的学习压力,通过渐进地增长网络,逐渐将新的任务添加进现有网络以改善生成效果,在每阶段中使用独立的条件增强方法以提高模型对文本变化的鲁棒性。然而由于数据集数量缺乏和质量低劣,本文基于语言描述生成的人脸图像只能粗略展现出人脸轮廓,还有很大的进一步研究空间。(4)为了让机械臂仿造人类的习惯绘制出肖像素描,本文对八方搜索进行改进,设计了一种使机械臂绘制时更加“拟人化”的搜索方式。通过这种方式对肖像图进行搜索得到的坐标序列,交给机械臂去绘制可以更好地模拟出人类艺术家在绘制肖像图时的习惯。(5)基于以上研究实现了一个肖像绘制系统,验证了上述方法的有效性。
其他文献
交通信号灯检测和识别是无人驾驶和辅助驾驶的关键技术之一,有着广阔的应用前景,近年来受到国内外众多学者的广泛关注。随着计算机计算能力的不断提高,各类传感器的成本不断降低以及深度学习技术的蓬勃发展,关于特征融合的研究越来越多,且在目标识别领域得到了广泛的应用,因此基于特征融合的目标检测方法在交通信号灯识别中有着广泛的应用前景和研究价值。本文研究了基于特征融合的交通信号灯识别方法,结合交通信号灯的特点提
多处理器片上系统(Multi-processor System-on-Chip,MPSo C)通常由多个处理单元,存储器和通信基础结构组成,异构MPSo C包含不同类型的处理单元,如中央处理器(Central Processing Unit,CPU)和图形处理器(Graphics Processing Unit,GPGPU)等,因此可以通过将任务映射到特定处理器类型进行计算性能,成本和功耗的优化。
主动光学技术作为一种波面校正技术,可消除光学系统和支撑架受环境等因素而产生的形变,在天文望远镜中应用广泛。通过位移传感器对分镜轴向位移精密测量是主动光学系统进行实时校正的核心。本文以主动光学为应用背景,在双差动式变面积型电容传感器上,设计了一种基于ZYNQ平台的传感器滤波系统。本文通过分析电容位移传感器的极板结构和模拟电路的信噪特点,设计了适合本传感器的数字滤波系统方案。算法部分,针对构成复杂、噪
冲击波压力是弹药毁伤威力评价的主要参数之一,自由场压力和地表反射压是冲击波压力的常测参量。针对当前弹药威力试验过程中出现的压力值测不准、不可比等问题,分别对自由场压力及地表反射压开展了工程测试影响因素分析及测量不确定度评定方法的研究。通过分析压力传感器测点位置设计对自由场压力测试造成影响的成因,运用AUTODYN软件仿真分析了TNT柱形装药的不同当量、爆高、尺寸(长径比)、起爆点位置对三波点高度变
慢性阻塞性肺疾病(chronic obstructive pulmonary disease,COPD)简称慢阻肺,是一种与人体肺部及呼吸道相关的慢性疾病,严重威胁着人类健康。氧减状态的准确定位和分析对该疾病的诊断具有非常重要的指导意义。为了提高慢性阻塞性肺疾病的诊断水平,本文基于长短时记忆网络(Long Short-Term Memory Network,LSTM),展开了慢性阻塞性肺疾病氧减状
非编码核糖核酸是一类不编码蛋白质的核糖核酸的总称,虽不编码蛋白质但在生物体生命过程中扮演着重要角色。微小核糖核酸是非编码核糖核酸中长度约为20个核苷酸的小分子,既能参与生命转录过程中的调控,也能参与转录过程后的调控,微小核糖核酸特别是病毒类型微小核糖核酸的异常表达还与疾病息息相关。因此,从有相似环状结构的发夹序列中区别出真正的微小核糖核酸具有重要意义。本文提出基于改进特征和有监督自组织映射神经网络
随着信息技术的快速发展和人们对生活品质的追求不断提高,数字图像在人们的生活中扮演着越来越重要的角色。然而数字图像在其采集、压缩存储以及传输过程中往往会遭受到不同程度不同类型的失真降质,导致数字图像质量出现一定程度的降低,同时给人们的实际应用造成一定的困扰。图像质量评价技术是用来对图像质量进行评价,度量失真对图像质量的影响程度。一个高效准确的图像质量评价方法在实际应用中发挥着非常重要的作用,是保证用
由于近年来信息物理系统(Cyber-Physical System,CPS)、物联网(The Internet of Things,IOT)等新概念新技术的火热,人机交互技术显得愈发重要。这些新技术都围绕着将现实世界和信息世界合二为一这一主题,在这个过程中,手势作为一种方便使用的人机交互方式获得了大量的关注。本文对安保机器人的手势控制进行了研究,主要研究内容与创新点如下:(1)对安保机器人控制系统
无人驾驶技术被认为是未来的发展趋势之一,是当前研究的热点,人们希望通过无人驾驶技术缓解交通上的种种问题。无人驾驶汽车通过配备的各种传感器对周围环境进行感知,多线激光雷达和毫米波雷达在无人驾驶汽车上广泛应用。本文基于激光雷达原始点云数据以及毫米波雷达数据研究环境建模技术,主要研究内容如下:(1)提出一种基于点云空间邻域多特征的点云分割算法。首先利用栅格内最大最小高度差特征进行点云粗分割,然后对粗分割
机器人对于人类生活和工作的革新有很大帮助,多机器人系统更是未来机器人的发展方向,对于制造业、加工业、危险环境和未知环境等都有很重要的意义。多机器人系统任务分配即为机器人和任务间寻求一种良好的对应关系,对于多机器人系统的执行效率至关重要,决定着多机器人系统完成任务的时间和资源消耗等多种因素。通常多机器人系统具有并行、冲突、可选方案多等特点,因此如何合理地分配系统内机器人在何时使用何种资源执行何种任务