深度学习和机器学习是未来智能无线通信的关键技术。传统的无线通信通常是模型驱动的,其相应的系统设计由领域知识导出。对于数学模型不准确或难以建模描述的场景下的优化问题,和本身属于非凸或非确定性多项式难度（Non-deterministic Polynomial hard,NP-hard）的优化问题,基于模型的设计方法通常需要牺牲最优性来换取可解性。另一方面,基于深度学习的研究方法是数据驱动的,通过数据训练来实现无线通信系统端到端的优化设计。目前,深度学习在解决上述无线通信领域中的两类问题中获得了一些突破,同时也展现出了极大潜力和研究价值。此外,分布式存储和大规模并行计算硬件的快速发展,保证了深度学习算法的部署和执行快速高效。针对无线通信物理层中若干关键问题,本文研究如下:·基于多进制相移键控调制方式和无限冲激响应滤波器的通带通信系统,接收端中的匹配滤波、均衡、解调的联合优化问题,以模型驱动的方法难以解决。针对该联合优化问题,本文提出了一种基于神经网络模型的端到端接收机,即判决反馈接收机（Decison Feedback Receiver,DFR）。DFR能够利用反馈的软信息进行迭代检测,同时具有较低的计算复杂度和模型复杂度,且能够对一帧码元进行并行检测。·针对训练集与测试集不匹配问题,本文对该问题进行数学建模并定量分析了其测试误差,同时给出了误差上界和下界。分析结果表明,测试误差由数据分歧和数据缺失这两个因素造成的。我们由不匹配问题延伸到单一模型在融合训练集上训练的情形。在具有足够模型复杂度的假设下,我们证明了使用参数共享的深度展开不存在数据分歧问题;当模型复杂度不足时,我们使用马尔可夫决策过程对迭代算法推断过程建模,同时给出了数据分歧不存在的条件。基于上述理论分析,我们研究了 DFR中的输入数据不匹配问题,并提出了改进的DFR。·针对自动调制方式识别（Automatic Modulation Classification,AMC）问题,一般的基于似然函数的AMC算法,即ML-AMC,计算复杂度过高导致难以实际应用。另一方面,基于特征的AMC需要人工特征工程来实现观测信号特征提取。本文提出了一种基于深度学习中卷积神经网络模型的识别器,即CNN-AMC。作为一种并行计算模型,CNN-AMC通过数据学习来近似地实现最优的ML-AMC。和基于特征的AMC算法相比,CNN-AMC自动地从观测序列中学习特征提取,端到端地实现识别。为了解决实际训练中模型初始不收敛的问题,我们提出了两步训练法;为了提高在相关但不相同AMC问题上的训练效率,我们提出了基于迁移学习的训练方法。此外,我们还提出了单位CNN-AMC,以灵活地处理变化的观测序列维数。·基于具有单输入单输出干扰广播信道的无线蜂窝网络,本文研究了在最大发射功率约束下,如何分配下行链路功率以使和速率最大化的优化问题。该优化问题是非凸的且NP-hard。目前的模型驱动的集中式算法,比如分数规划算法和加权最小均方误差算法,具有很高的计算复杂度。另一方面,现有的基于强化学习算法并非针对静态优化问题而设计。首先,本文分别给出了针对静态问题的集中式和分布式强化学习算法设计。进一步地,我们提出了集中式训练、分布式执行的协作多智能体强化学习算法框架。该算法设计包括小区间协作、离线/在线训练和动态环境跟踪。具体的深度强化学习算法包括基于策略梯度的REINFORCE算法、基于值的深度Q学习算法和基于动作器-评价器的深度确定性策略梯度算法。