近十年来,微型扑翼飞行器逐渐成为飞行器乃至机器人领域中一个具有广泛前景的研究方向,但其实时视觉系统的开发在世界范围内尚未形成完备的理论与技术路线,在算法设计、设备选型等方面还有大量创新的空间。本文以上海交通大学自主研发的微型扑翼飞行器为载体,从实时电子稳像去抖、人像检测、避障检测以及硬件模块设计等方面完成实时视觉系统设计。首先,针对微型扑翼飞行器高频抖动的特点,本文提出一种基于卡尔曼与低通混合滤波的电子稳像算法。该算法利用角点检测与LK光流对连续两帧图像的仿射变换矩阵计算并滤波。实验表明,该算法将飞行器水平与竖直的抖动分别滤除了66.56%与73.15%,且每帧图像的处理速度在6ms左右。其次,针对微型摄像头回传图片噪点多、亮度低且运动模糊的特点,通过自构建数据集,改进候选框参数,改进损失函数,预训练微调等方法,提出一种改进的YOLOv3人像检测算法。实验表明,在自构建测试集上,该算法达到90.5%的精确率和85.2%的召回率,同时每帧图像的处理速度在15.4ms左右。再次,针对微型扑翼飞行器仅能携带单只摄像头起飞的现实情况,提出一种基于ORB特征点的实时障碍物检测算法。通过本文提出的尺度膨胀算法估测与障碍物的距离,利用本文提出的跳帧匹配算法保证算法的实时性,在距障碍物1～2m内向控制机构发出侧倾控制的信号。实验表明,障碍物检测成功率在86%以上,每帧图像处理速度在1～10ms以内。最后,完成微型扑翼飞行器硬件模块包括微型摄像头、5.8GHz图传发射与图传接收的选型、配置与搭建。完成了包括系统传输测试,功能测试与耗时测试的整体测试。实验表明,系统传输时延在20.4ms左右;稳像去抖算法有效滤除水平与竖直方向的高频抖动;人像检测平均正确率达到了90.28%;障碍物检测的平均成功率达到了85%;算法的总体耗时在30ms以内,达到实时视觉系统设计要求。