基于强化学习的无人机基站轨迹优化研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:trebleclefj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无人机(Unmanned Aerial Vehicle,UAV)是由使用者远距离操控或嵌入式系统操纵驾驶的飞机。无人机因为其体积小,灵活性高,部署方便等特点被广泛的应用。无人机在无线通信领域的应用主要被分为两类:一方面,无人机被认为是接入蜂窝网络进行通信的新型空中用户。另一方面,无人机被用作新的空中通信平台,如基站和中继等,通过提供数据访问来协助地面无线通信。随着无人机制造成本的不断降低和通信设备的小型化,在无人机上安装小型基站或中继设备使飞行的空中平台能够辅助地面无线通信变得可行。这些基站适合安装在具有中等有效载荷的无人机上。与传统的地面通信基站相比,无人机作为基站提供通信服务有很多优势,比如更好的信道条件,更灵活的部署方式等等。无人机基站的轨迹优化是无人机通信系统中的一个重要问题,因为无人机的位置直接影响信道环境以及与地面用户的相对距离。在实际情况中,无人机在部署时很难精确地知道移动用户的确切位置。此外,由于无人机所能携带的能量有限,无人机通信系统的表现通常大打折扣。因此,本文在没有地面用户准确位置信息的情况下对无人机基站的轨迹优化问题进行研究分析,并在此基础上提出并解决基于能量效率最大化的无人机基站轨迹优化问题。本文首先研究了无人机通信系统并对无人机基站的轨迹优化问题进行建模。在研究了强化学习相关算法后,本文基于栅格法和Q-learning算法解决了在没有用户准确位置信息的情况下的无人机轨迹优化问题。在此基础上,我们提出了基于能量效率最大化的无人机基站轨迹优化问题。由于Q-learning算法的局限性,本文使用深度强化学习算法对该问题进行求解。仿真结果表明本文所提出的无人机轨迹优化算法能提高机载能源能量的利用效率。
其他文献
日语具有独特的表达方式,这与民族、文化、宗教等因素的影响是分不开的.我们可以从日语的表现中发现日本人与众不同的习惯、意识与思维方式.所以,学外语不仅要"学",还应注意
期刊
目的:随着物质生活水平的提高,我国民众可获取的精加工食物及种类极大丰富,造成能量摄入的普遍升高。过量的脂类和碳水化合物的摄入,对人体来说从营养物质变成了毒物,不仅造
目的探析优质护理服务在血站采血环节中的应用效果。方法随机选取2013年1月—2014年12月期间未开展优质护理服务前在该站接受采血的500名无偿献血者作为对照组,随机选取2015
目前我国企业的很多培训都是无效和重复的,培训的投入与产出不对等。企业重视培训,但是忽视培训的评估工作已经成为企业员工培训有效性的重要制约因素。本文以衡钢公司管加工
目的:运用三维能量多普勒超声(3D-PDU)分析正常妊娠晚孕期(28-40周)胎盘内绒毛血管的结构;并收集3D-PDU胎盘血管指数VI、FI、VFI值,描绘其随孕周(GA)的变化趋势并界定其参考范围;进一步分析VI、FI、VFI的可重复性。以期评估3D-PDU作为妊娠期胎盘内血管密度及血流灌注情况筛查工具的可适用性。方法:收集2019年1月-2019年12月在成都医学院第一附属医院产科完整建卡并分
国内商用汽车在吸收竞品的技术,模仿并创新形成自有技术中发展。采用对标分析,可以快速确定设计指标及产品竞争力。本文阐述了在某系列车型开发中,以竞品车为研究对象,通过实
在马克思主义哲学教学中,理论联系实际是教学的基本原则,在多种联系形式中,哪种形式是主要的形式,文章以马克思主义哲学的本质及马克思主义哲学教学的目的为依据,认为理论批
我校周宝森、何钦成、尹智华等人完成的《女性肺癌的危险度、预后因素及治疗方案评价的研究》成果获2012年度辽宁省科学技术奖一等奖。
4月28日,俄罗斯“联盟”2-1a型运载火箭在拜科努尔发射场发射了“进步”M27M货运飞船,但飞船人轨后出现严重问题。船上载有超过2.7吨燃料、水和其他补给物资。飞船与地面的通信