新型物理层技术的应用是提升网络性能和推动下一代通信系统构建的关键。如何在网络中有效发挥这些物理层技术的优势是网络设计的重要问题。本论文通过搭建系统的理论框架来研究不同物理层技术给网络性能带来的影响。该理论框架结合上层协议，能够刻画多种性能指标和网络参数之间的相互关系。通过对该框架的分析，本文对多种网络参数进行优化，并基于此对未来的网络设计提出了一定的指导性意见。本论文由两部分组成，分别对应了双向中继和多用户MIMO这两种物理层技术的研究。针对双向中继技术，我们考虑一个线状多跳网络拓扑，利用信息论的理论，推导出当应用双向中继信道传输数据时，整个网络的频谱效率和能量效率。通过对该理论框架的分析，我们在整体考虑多项物理层参数，如传输速率、处理能耗、路径长度和中继数目等的同时，优化网络的频谱效率、能量效率和传输时延，并基于此选择最佳的路由路径。该理论框架能够帮助我们深刻理解双向中继技术对路由协议产生的影响，对未来的协议设计具有一定的指导意义。针对多用户MIMO技术，我们重点考虑最近被提出的基于CSMA/CA机制的多用户MIMO无线局域网，通过构建理论模型来分析该网络的饱和吞吐量和平均接入时延。我们还提出了一个分布式的机会传输机制。该机制在基于CSMA/CA机制的多用户MIMO无线局域网的基础上，引入了一个阀值变量，只允许并行速率超出阀值的节点竞争并行传输的机会。与仿真结果进行对比显示出我们的理论模型能够精确的估计网络的性能。利用该理论模型，我们分析了网络的饱和吞吐量和平均接入时延随着不同参数的变化趋势，这些参数包括退避窗大小、接入点天线的数目、网络节点数以及机会传输机制中的阀值变量。在对多项参数进行优化的同时，该理论模型和基于此的性能分析让我们对于随机接入的多用户MIMO传输机制有了深入理解，并对将来把多用户MIMO应用到大型网络中时的系统设计和研究提供了理论工具。