无线通信系统的发展过程体现出结构复杂化，功能多样化，控制智能化，工作持续化，外形微型化的特点。无线通信系统从完成单一的语音传输任务，发展到执行监测、协作、控制、决策、优化等功能。其发展推动了对无线通信技术中的控制决策理论研究。马尔科夫决策过程是一种有效的解决决策、控制、优化问题的工具，成为当前无线通信中方法论研究的热点。本文针对当前无线通信中的马尔科夫决策过程面临的问题和挑战，基于决策和优化理论，系统研究了无线通信系统中的马尔科夫决策过程从模型到参数动态过程，从系统状态约束到求解方法等多方面的问题。本文的研究思路和方法为：首先，根据观察和分析，探讨了无线通信控制问题中的系统状态延迟问题。基于有限马尔科夫决策理论，研究了基于延迟系统状态的功率控制方法。其次，基于鲁棒动态规划理论，研究了不确定性信道下的鲁棒功率控制方法。再次，基于多层马尔科夫决策理论，研究了不同动态参数过程下的联合能量调度和通信传输控制问题。最后，基于系统状态聚合理论，研究了大规模参数控制问题的快速算法。大量的仿真分析研究验证了提出的方法。其主要研究成果和贡献可归纳为以下几个方面：（1）无线通信系统中系统状态延迟的研究。针对无线通信系统基于过去时刻频谱感知结果进行决策的问题，分析了导致当前时刻频谱状态观测延迟的原因。针对认知无线电中的瑞利衰落信道，提出一种离散时间马尔科夫模型。此模型能够描述认知用户信道的衰落特征，同时体现主用户行为特征。仿真分析的结果表明系统状态延迟对功率控制方法性能有恶化作用，提出的信道模型比传统模型更精确。（2）基于延迟系统状态的功率控制方法研究。针对认知用户干扰管理和主用户传输保护问题，分析了认知用户信道中断产生的原因，提出了一种认知用户的信道中断概率约束。基于延迟马尔科夫决策过程理论，推出了带有中断概率约束和系统状态延迟的功率控制方法。基于动态规划理论，获得最优的功率控制策略。针对最优功率控制方法复杂度高的问题，提出一种混合功率控制方法。仿真分析的结果表明该方法通过在线中断概率控制能够有效降低算法复杂度，同时仍能保持较好功率控制性能。（3）不确定信道中的鲁棒功率控制方法研究。在认知无线电中，由于认知用户信道模型参数通过有限的测量数据进行估计，估计的信道状态转移概率存在误差。针对基于马尔科夫决策过程的方法对转移概率误差敏感的问题，首先研究了瑞利信道模型不确定性对功率控制方法的影响。其次，建立了两种描述信道不确定性的模型，即：内部矩阵模型和似然模型。针对信道状态转移概率最坏情况下的最优功率控制问题，根据鲁棒动态规划理论，提出带有一定系统状态延迟的鲁棒功率控制策略。针对两种不确定模型的内部优化问题，推出了两种快速算法。仿真分析的结果表明提出的方法性能优于传统方法。（4）联合能量调度和传输控制方法研究。考虑无线通信系统装配有能量收获设备，研究了无线通信系统中的联合能量调度和传输控制策略。首先，针对现有能量收获模型误差的问题，系统分析了能量收获过程的特征，提出一种新的非齐次马尔科夫能量收获模型。此模型既能刻画能量收获过程中的主要趋势，同时还能表征不同时刻的随机因素。其次，针对能量收获过程与信道变化过程时隙不一致的问题，建立一种多层马尔科夫决策过程框架，并对联合的能量调度和传输控制问题进行建模。研究了联合调度和控制问题的求解方法，提出一种混合价值迭代和动态规划方法，获得最优的能量调度策略。仿真分析的结果表明提出的方法性能优于现有算法。（5）无线通信中大规模马尔科夫决策过程快速算法研究。针对无线通信系统中的大规模马尔科夫决策过程算法复杂度高的问题，推出了大规模马尔科夫决策决策的因子表达式，同时提出一种基于系统状态聚合的快速算法。仿真分析的结果表明该算法具有复杂度低，系统最优性损失小的特点。