太阳帆是一种新型航天器,它利用光的粒子性,依靠巨大的帆面反射太阳光获得光压力作为轨道推进力,可摆脱传统航天器对有限化学燃料的依赖,是深空探测和星际远航领域的重点研究对象。本文围绕太阳帆姿态与轨道控制系统设计问题展开,针对太阳帆姿态执行机构设计、太阳帆姿态控制、地-月-帆三体问题下的姿轨耦合分析与控制三个方面存在的具体问题,提出解决方案与优化策略,深入研究快速、有效的姿态与轨道控制方法。主要内容和创新点如下:针对现有滚动轴姿控执行机构提供的姿控力矩幅值较小的问题,提出了一种新型的太阳帆姿态控制执行机构:滑动质量块-移动小帆（Sliding Masses-Moving Panels,SMMP）,可快速输出较大的三轴姿控力矩。对所提SMMP执行机构形式进行数学建模与特性分析,对比其与传统滑块/分装小帆的控制效果,进一步说明了所提执行机构的优点。针对SMMP工作过程中导致的转动惯量变化问题,考虑外部光压干扰、引力梯度力矩干扰,为装配SMMP的太阳帆提出了一种鲁棒自适应控制策略。仿真结果表明,在所提控制策略作用下,太阳帆姿态误差可收敛至指定的误差带内。为服务未来姿控系统冗余度设计,分别对装配万向节控制杆、滑块-滚动轴稳定条（Roll-axis Stablizer Bar,RSB）执行机构的两种太阳帆设计了有效、快速的姿态控制器。对以控制杆作为执行机构的太阳帆俯仰轴姿态控制系统,针对帆面挠性模态易被激发且难以测量的问题,提出了一种姿态机动路径柔化与可测刚体姿态信息反馈控制相结合的姿控方案,并给出了使系统刚体姿态与挠性模态渐近稳定的充分条件。数值仿真表明在所提控制律作用下,太阳帆姿态角误差可快速收敛。对以滑块-RSB为执行机构的太阳帆三轴姿态控制系统,针对姿控力矩与姿态角的耦合关系、执行机构饱和限制,提出了状态依赖的力矩饱和等效约束。针对该等效力矩饱和约束、惯量不确定性和未知光压干扰力矩,提出了一种有限时间鲁棒自适应控制器。仿真结果表明,所提控制策略有效地提高了太阳帆姿态跟踪的快速性。为服务地月系特殊轨道任务,研究了姿轨耦合作用下的地-月-帆限制性圆形三体问题（Restricted Circular 3-Body Problem,RC3BP）。针对地-月-帆RC3BP中人工拉格朗日点受时间影响的问题,考虑太阳帆轨道系统的非自治特性,求解仅姿态相关的人工拉格朗日点。针对拉格朗日点绕飞轨道,在分析非理想姿控性能对其轨道位置影响的基础上,提出了姿控指标设计思路。最后,引入姿态-轨道耦合控制系统,进一步比较有无控制作用情况下太阳帆轨迹偏离的差异,论证了姿轨耦合控制的必要性。在地-月-帆RC3BP研究及姿轨耦合效应分析的基础上,考虑地月运动不共面的动力学环境,放宽限制性三体问题条件,进一步研究太阳帆轨道-姿态耦合控制问题。选用合适的参考坐标系,建立考虑地月轨道倾角的地-月-帆三体问题下的姿轨耦合模型。针对姿轨系统之间的相互作用,提出了一种级联三环控制结构,将复杂姿轨耦合控制设计分解为多个相对独立的控制问题。同时,针对姿控力矩饱和、轨道建模误差、匹配和非匹配干扰以及参数不确定性,提出了高效、快速的鲁棒自适应控制律。仿真结果表明,所提控制方案可使太阳帆快速地跟踪期望轨道。