在满足未来物联网和无线移动通信系统对传输速率、时延、连接密度等要求的技术中,功率域或码域非正交多址接入(No MA)和免授权上行No MA被认为是可行的非正交传输方案。本论文分别研究了功率域No MA(PD-No MA)、稀疏码分多址接入(SCMA,或称码域No MA)和上行免授权No MA方案的可靠传输性能。对于SCMA系统,提出了高维稀疏码本的设计方案,并分析了基于信息传递算法(MPA)下SCMA系统的性能界。对于PD-No MA系统,主要研究基于功率域重叠编码和连续干扰消除(SIC)接收的No MA方案,分析了PD-No MA在实际系统中受信道状态信息的影响,并给出了保证PD-No MA可靠传输的解决方案。对小数据包非正交传输方案,基于有限编码理论,分析了数据可靠传输的性能及其影响因素。对于上行免授权No MA,进行多用户联合设计,提出了有效的低复杂度活动用户检测、信道估计和多用户数据检测算法,所得结果对上下行No MA系统的传输设计、方案优化具有重要指导意义。首先,针对SCMA系统,提出了一种简便的高维稀疏码本设计方案,分析了MPA检测得到的性能界。在只知道统计信道信息(CSI)的情况下,分析了PD-No MA在软合并混合自动重传(HARQ-CC)协助下的可靠传输性能,推导出每个用户的中断概率和分集阶的闭式表达式。基于得到的中断概率表达式,再研究功率分配、目标速率选择和最小重传次数对系统性能的影响。研究表明:1)只知统计CSI时,PD-No MA用户的中断性能和分集阶都会减小。2)HARQ-CC可以明显改善PD-No MA在只知统计CSI下的性能。3)在给定目标速率的情况下,功率分配系数和重传次数具有折中关系,特别是统计信道好的用户,它需要牺牲时延来减低对功率的要求,从而弥补另外一个用户由于信道较差带来的性能损失。其次,研究了PD-No MA在随时间相关衰落信道下的中断性能和功率分配优化方案。特别是,根据用户不同服务质量(Qo S)要求,例如:延迟敏感低目标速率用户和高目标速率高时延容忍用户,提出两种部分HARQ传输方案,包括部分HARQ-CC和部分增量冗余HARQ(HARQ-IR)。分别分析PD-No MA在时间相关衰落信道下具有重传和没有重传方案时中断概率的闭式表达式。根据所推导的中断概率表达式,得到PDNo MA比正交多址接入(OMA)性能更优的一个充要条件,该条件在没有重传的情况下可以表示为功率的函数,在HARQ协助的情况下可以通过二分法来找到该条件的门限值。为了进一步降低PD-No MA在HARQ协助下的平均传输功率,在中断概率限制下,通过优化重传的发送功率,最小化系统平均发射功率。然而,推导的中断概率的表达式非常复杂,并且所描述的问题是非凸的,所以问题求解非常困难。于是,通过推导出中断概率的上界近似的表达式,把原始问题转化为几何规划问题来求解。所得结果证明:只有当满足得到的条件,PD-No MA的性能才优于OMA。HARQ-CC和HARQ-IR都可以提高PD-No MA在时间相关衰落下的中断性,并且HARQ-IR在能量效率方面更优。接着,针对大规模物联网上下行No MA系统,提出了两种短包传输方案,并且分析了这两种方案的误比特率(BER)或者误块率(BLER)。对于上行No MA系统,提出基于广义期望一致信号恢复(GEC-SR)的低复杂度活动用户检测和信道估计算法。通过最小均方误差(LMMSE)检测,得到在不完备估计CSI下,上行非正交传输数据的误码率。所得结果表明:上行活动设备检测引起的错误传播对上行数据传输的影响。同时,在非完备CSI条件下,得到了基于有限编码下行PD-No MA的BLER的闭式表达式。此外,为了保证下行PD-No MA的性能比OMA的性能更优,提出了PD-No MA用户匹配或分组的信息比特选择方案。仿真和分析结果都验证活动检测、信道估计和数据检测的性能。更重要的是,得到的结果表明,如果一对/组下行PD-No MA用户按所提的方案选择传输的信息比特,下行PD-No MA的BLER性能优于OMA性能。最后,基于可靠信息传递的大规模No MA信号检测,把活动用户检测和信道估计描述成迭代加权的LASSO问题。在单载波No MA中,通过交替方向乘子法(ADMM)算法求解得到每次的迭代信息,同时,充分利用稀疏信号非零元素的块衰落特点和基站已知用户部分活动先验信息,得到精度更高的活动用户检测和信道估计算法。在多用户数据检测上,根据接收信号结构特点,提出了基于交替最小化的低复杂度检测算法。仿真结果表明:1)在导频序列较短时,所提的算法活动用户检测误报率和漏报率都很低;2)在活动用户检测算法上,以可以忽略不计的计算复杂度为代价提升了活动用户检测性能;而在多用户数据检测上,利用交替最小化方法可以很好避开矩阵求逆的计算,从而降低计算复杂度。此外,在多载波No MA系统中,活动用户检测和信道估计问题可以刻画成具有块稀疏结构的信号恢复问题,进一步改进所提的算法,提高算法检测性能,甚至可以达到完全活动用户检测性能。