深度学习并行算法研究及其在浅海增养殖大数据分析中的应用

来源 :上海海洋大学 | 被引量 : 0次 | 上传用户:xyf8319
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
受到生物特点和复杂环境等诸多因素的影响,长久以来浅海增养殖难以做到精准监测、检测和利用,我国浅海增养殖虽然经过长久发展,但养殖信息化和智能化程度低、大数据挖掘与分析技术薄弱,由于历史和现实原因,养殖数据具有资源途径多样、结构繁杂、质量参差不齐、应用范畴宽广、数据总体质量偏低的特点,现有浅海增养殖多依赖人工,这也造成了数据资源无法做到有效利用。近年来随着养殖大数据技术和生态学养殖的多元化发展,通过学科交叉的方式将大量数据进行分析挖掘,最终将结果以直观界面化形式呈现给生产决策者的方式逐渐成为了解决上述问题的一种思路。因此对浅海增养殖大数据进行系统化分析并综合来源和获取方法进行归纳,将养殖行业和全过程产业链的数据进行整合,进而实现整个行业的自动化决策化,为我国养殖产业的变革升级提供理论技术支持就显得尤为重要。面对浅海增养殖大数据分析这一关键问题,由于数据本身复杂性、多元性的特点,这对数据处理提出了较高的要求,本文由此作为切入点,针对养殖生物图像分类场景中大规模数据及模型训练效率低等问题,从多机数据通讯及GPU并行方法两个方面展开研究,首先通过分节点间隔配对原则实现数据传输流程的优化,得到了一种改进时间复杂度的Ring All Reduce数据通讯算法,用于提升数据并行多设备间传输效率,缓解传统参数服务器并行结构带宽损耗问题;其次,本文利用传统深度学习主干网络包含权重参数较全连接层小,同步开销小而全连接层权重庞大梯度传输开销过高这一特点,将主干网络进行数据并行处理,全连接层采用模型并行处理提出混合并行算法,解决了数据并行模式难以支撑大规模网络参数及加速延缓的问题。实验也发现,相比数据并行,该方法在Finsh4knowledge上存在更大的加速优势,更适用于海量养殖图像分类数据并行训练。除此之外,本文在养殖数据分析的基础上,进一步搭建了一个浅海增养殖大数据服务平台,完成了该平台的总体技术框架设计和各功能模块的业务流程规划,以及增养殖数据在线并行训练和大数据平台搭建等关键技术的探索与实现;开展了爬虫、流媒体技术及应用层页面渲染等关键问题的研究,构建移动端在线监测系统和浅海增养殖智慧服务平台,基本实现了增养殖数据实时监测、生产过程管理、信息发布、环境预警、智能决策服务等功能的系统设计和业务流程规划,为示范区提供移动端和平台端的协同联动的全过程信息化平台支持。
其他文献
海面温度(Sea Surface Temperature,SST)与全球气候变化、海洋灾害、海洋生态系统密切相关,因此准确的预测海面温度是一个具有重要意义的课题。随着海洋监测技术的不断进步,海面温度等海洋环境要素数据被大量采集,数据驱动的海面温度时间序列预测方法逐渐显现出了其良好的效果。但现有的数据驱动方法忽略了海面温度与气温、风速等其它海洋环境要素之间的关联关系,限制了精度的提高。为了有效捕获不
学位
在生物学研究领域,高通量测序技术催生了海量的生物学数据。从这些生物学数据出发,利用合适的生物信息学方法发掘与疾病发生机制相关的生物通路,研究疾病与生物通路间的关系,对疾病的诊断和治疗技术的发展具有重要的意义。从高通量的海量数据中获得对疾病深层次的认识,发现疾病的复杂机制依然是研究人员面临的一个挑战。虽然在过去的十几年,相关研究人员已经开发出一些基因富集分析方法来发现与疾病相关的生物通路。然而这些方
学位
车辆分群调度问题是计算机科学和运筹学中一类重要的组合优化问题,其在现实生活中具有广泛应用,如磁盘碎片整理、程序重构、细胞检测、集成电路测试、考试时间表安排等等。因此,对其进行研究具有重要的理论与实际价值。本文主要研究几个特殊网络上单台车辆分群调度问题。给定一个网络图,若干个待服务的客户分布在该网络上,并且这些客户被划分为若干个子集,每个子集称为一个群。给定一台车辆,其需要服务所有客户,且每个群内的
学位
随着互联网和社会经济的迅速发展,人们面临的法律问题越来越多样化、复杂化,因此法律咨询业务的推进对社会的发展而言,有着非常重要的价值。然而,律师相关的咨询业务在现实开展过程中还是面临各种各样的窘境,比如:发展速度慢,律师咨询业务创收较低,聘请率低下,律师业务水平不足等诸多问题。因此,借助大数据和深度学习的方法,建立自动化民事纠纷问答模型具有较高的学术价值与应用价值。民事纠纷问答面临的难点为专业领域性
学位
近年来,随着人们对海参、海胆、贝类等海珍品需求量的增加,海产养殖业取得蓬勃的发展。在海洋牧场建设领域,主要利用拉网或人工抓取的方式对水下环境中的海珍品进行捕捞,但上述方式存在劳动强度高、工作效率低及安全风险高等问题,因此研发一种能够自动识别、定位及抓取海珍品的水下机器人,对降低劳动强度、提高捕捞效率以及促进海洋牧场的智能化发展具有重大的意义。水下目标的精确检测是水下机器人实现自动化检测和抓取作业的
学位
水产养殖业在我国农业经济社会发展中占有重要地位,水产养殖规模和产量也在逐年扩大。在目前的水产品交易中,数据多采用中心化的存储方式。在这种模式下,数据容易被篡改、共享能力低且追溯困难。当出现水产品质量安全问题时,无法根据订单信息进行水产品养殖信息的有效追溯。除此之外,交易数据对于养殖厂的经济效益和整个水产品供应链的良性运转也有着重要作用。区块链技术具有去中心化、数据公开透明、不可篡改和信息可追溯的特
学位
近年来,随着我国水产养殖业的飞速发展,精细智能以及预防化养殖方式已逐渐成为未来的养殖趋势。作为水产养殖品种之一,在水产养殖过程中出现的例如温度急剧变化、溶氧异常或人为干预等多维因素让虾苗处于应激状态,影响虾苗存活率。及时发现虾苗处于应激状态可以大幅减少养殖损失,提高虾养殖产量和效率。一般急性应激会使虾苗产生异常生理和行为变化,因此虾的行为对养殖者而言是一种有价值的参考信息。本文以南美白对虾为研究对
学位
紧密子图查询作为图查询的研究热点之一,在很多领域都有着重要的应用。现有的研究中已有许多紧密子图查询方法,如基于模块度优化的算法、谱方法、非负矩阵分解等。对于紧密子图的定义也有多种,常见的有k架(k-truss)、k团(k-clique)、k核(k-core)等。其中k核的定义要求图中每个节点至少有k个邻接节点,即每个节点的度至少为k。根据该定义,k核可以在线性时间复杂度内计算得到,具有较好的应用基
学位
饲料中添加抗生素是防治腹泻的常用方法,然而长期以来由于大多数养殖场不合理使用抗生素导致耐药菌株产生、畜禽产品品质下降、人类食品安全遭受威胁等问题出现。我国农业农村部发布公告,自2020年1月1日起,禁用所有除中药外的促生长类饲料添加剂。因此,寻找能够替代抗生素的药物迫在眉睫。中草药来源广泛、种类丰富,具有抗病毒、抗细菌、提高免疫力等多种功效,并且毒性低、残留少、不易产生耐药性。综合"禁抗"的时代背
期刊
随着图像处理传感器与采集系统的快速发展,以及无人机在社会上越来越普及,人们获取无人机遥感图像的方式也越来越便捷。无人机遥感作为补充卫星遥感和有人机航空遥感不足的航空遥感手段,不仅可以获得正射遥感图像还可以获得倾斜摄影遥感图像。在很多领域中人们对遥感图像中的地物情况在语义上的精准分割都有着很大的需求,如城市建设、精准农业、灾情监测以及环境监测等各个领域。由于遥感图像中目标尺度多,网络高层次特征中小目
学位