论文部分内容阅读
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/qczy/qczy202121/qczy20212119-1-l.jpg)
从无到有再到普及,不知不觉之间,ADAS 技术已经发展了一段不短的时间。从知道到认识再到习以为常,寻常人对于ADAS 功能的了解,也随着越来越多车辆配置ADAS 技术,日益丰富的功能选项极大便利驾乘感受得到逐步接受。或许不少人会认为ADAS 技术并不难,就连后装市场企业都纷纷推出号称具有ADAS 功能的产品,实际上真正厉害的技术产品,始终需要更深层次的积累与沉淀。譬如MINIEYE I-CS 座舱感知方案
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/qczy/qczy202121/qczy20212119-2-l.jpg)
日益重要的舱内感知功能
A dv anc ed Dr iv er A ssist anc eSystem(ADAS) 高级驾驶辅助系统,作用是在紧急情况下,驾驶员主观反应之前作出主动判断和预防措施,达到预防和辅助的作用。高级辅助驾驶系统(ADAS)属于广义概念。凡能提升驾驶安全性和舒适性的功能,皆可归入其范畴,譬如大家所熟悉的ACC 自适应续航、AEB/CMbB自动紧急制动、TSR/TSI 交通标志识别、BSD/BLIS 盲点监测、LCA/LCMA 变道辅助、LDW 车道偏离预警等等,均可视为ADAS 系统功能之一。甚至就连高精地图都应归类其中,毕竟导航功能让不少人得以告别路盲症候群,而高精地图不但能提供更为精确的导航,还能为自动泊车等不少其他ADAS 功能提供定位佐证。
通常消费者所理解的ADAS,大多是基于视觉感知方案外加多传感器融合的舱外感知功能。而对于DMS(驾驶员监测)以及OMS(乘客监测),甚至舱内物品及环境监测的舱内感知功能都不甚了解。从2018 年开始,随着汽车行业规范及法规的逐步完善,越来越多如Euro NCAP、EU Commission、US NHTSA、USNTSB 等测试组织与机构,纷纷提出针对舱内驾驶员、乘员感知功能的需求。部分更給出了明确的时间表,鼓励、推荐甚至强制在随后所生产的新车上,必须具备有能和舱内人机交互系统相结合的驾驶员监控系统,且针对未来车辆更着重强调需能检测滞留在车内儿童、宠物等活体,并提醒驾驶员的功能。有异于ADAS 系统之中的舱外感知功能,舱内感知功能更多依靠摄像头传感器达成。有数据显示,到2023 年,预计平均每辆车将配载2 颗以上的摄像头,而高端豪华型车辆预计将达到10 颗之多。这将让舱内功能从安全导向的监控功能,逐步过渡为理解人类意图,以舒适娱乐为导向的监控感知功能。
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/qczy/qczy202121/qczy20212119-3-l.jpg)
值得一提的是,由于ADAS 功能早年就被归类划分至美国高速公路安全管理局(NHTSA)和国际自动机工程师学会(SAE)所制定的“自动驾驶分级参考”之内,所以不少人将其称为自动驾驶的简化版。实际上这应该属于一种误读,ADAS 功能真正意义上应该属于车辆的自动化功能,而自动驾驶分级参考更应理解成为对于车辆自动化程度的划分。ADAS 功能虽然减轻了驾驶员的驾驶压力,不过终归不能属于自动驾驶功能,充其量属于将来为自动驾驶提供感知的一环。
内行看门道
通过追踪包括头部转向、面部表情、视线方向、手势以及肢体关节点等人体视觉特征,进一步分析驾驶员及乘客的身份信息、动作意图和行为数据,是ADAS舱内感知所实现的具体功能。这些貌似仅需数个摄像头摄取图像,比对目标数据库就能完成的“简单”功能,或许让不少人人感觉门槛并不高。这不就是生物特征检测嘛,消费电子领域老早就普及了,那些遍布各个角落,基于摄像头的物联网功能早烂大街了吧。
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/qczy/qczy202121/qczy20212119-4-l.jpg)
不要忘了任何消费电子领域的技术与产品,一旦需要实现成为车载功能,那么就要另当别论了。“室内”与“舱内”,一字之差背后所需考虑的问题,堪称“外行看热闹,内行看门道”的经典解释。车载领域的严苛岂非寻常消费电子领域所能比拟。如ECU 上的计算资源限制、车规级摄像头模组的技术规格与未来发展规划、不同车型内饰设计以及座舱集成方可接受的摄像头位置布局,甚至还可能涉及到复杂的真实交通场景所带来的影响。简而言之,在极其考究能耗、空间、算力以及行驶安全性上,一套通盘考虑以上问题的ADAS 舱内感知功能解决方案,不但需要便于隐藏的娇小硬件,还需要具有低功耗且高效率的,基于车规级平台嵌入式计算机视觉与人工智能(AI)技术支持,更需要灵活封装的软件方案,以更好适应不同OEM 厂家定制化的需求。
MINIEYE 近期所发布的这套I-CS座舱感知方案,是其在深耕汽车行业多年,经年累月所沉淀的技术底蕴之下所推出的成熟方案。这其中包含了两类MINIEYE自主研发的核心技术。第一项是针对神经网络轻量化以及快速运算需求的压缩技术。众所周知,作为视觉识别系统永远跳脱不开的卷积神经网络(ConvolutionalNeural Networks, CNN)算法,其从摄像头所获得的图像精确度,直接决定了识别成功率以及准确率。I-CS 的ThiNet 可以有效加速并压缩用于舱内感知的卷积神经网络。在保证极少的精确度衰减前提下,极尽所能地瘦身神经网络,通过ThiNet 裁剪,除身份识别功能外,用于DMS 的CNN 算法模块每帧仅占用234M Operations。而这套舱内感知的CNN 算法模块是为了车规级嵌入式平台量身打造,并根据自研CNN加速器特性进行深度定制,能有效发挥出CNN 加速器算力,达到理论峰值算力的95% 以上。另外一项则是CNN 高速推理框架技术:基于CPU/GPU 的MINIDNN 和基于FPGA 的HardNet。这项技术解决了当前CPU 面对大规模CNN 网络处理乏力的难题,有趣的是其除了具有高效的加速能力,支持基于Caffe、Tensorflow 等主流CNN 网络之外,更具有完全裁剪性,也就是说根据不同用户的需求,可随意裁剪出一款最适合的CNN 加速器并满足资源消耗和性能的平衡。
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/qczy/qczy202121/qczy20212119-5-l.jpg)
外行看热闹
实际测试总是最好玩的。如果说看得懂上面一段内容的读者属于内行人士。那么为了外行群众也直观体会到这套I-CS座舱感知方案的热闹,我们选择在充分了解系统工作原理后,亲身上车成为DMS与OMS 系统监测对象,好好“测(Xi)试(shua)”一番。
把测试系统安装在某国内造车新势力车型上测试实在用心良苦。与传统造车势力“字正腔圆”、“中规中矩”的架构体系相比,国内造车新势力所提倡的全新造车理念,以及大胆的功能需求,才是各类车载系统所需直面的挑战。I-CS 座舱感知方案硬件包含两个IR 红外摄像头及对应处理模块。其中DMS 功能摄像头安放在方向盘连接轴盖板,OMS 摄像头则处于后视镜后侧下沿。估计是因为测试原因,两个摄像头并没有被刻意隐藏起来,不过从其体积来看在实际交付时候,隐秘于车辆内饰完全不是问题。
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/qczy/qczy202121/qczy20212119-6-l.jpg)
快速、准确地识别出活体驾驶员的一举一动是DMS 功能的主要诉求。一个成熟的测试者总会希望挑战各种“cornercase”之中的“corner case”。所以我决定首先以照片和视频方式挑战系统的“非配合式活体身份识别”。在穷尽各种欺骗手段后发现尽数失败,IR 摄像头的IR光源直接照片以及视频手段失效。随后本人祭出了日常驾驶之中所涉及的各类动作,包括模拟疲劳驾驶的闭合眼睑、打哈欠、头部上仰与低垂;模拟驾驶分神的头部左顾右盼、视线脱离正前方道路;模拟不良驾驶习惯的打电话、抽烟。无一例外全部快速识别并在监控屏幕上对应标定。系统工作原理在于从驾驶员入舱的一刻,从摄像头回馈图像之中,快速准确定位其面部的68 个特征點,通过在持续比对真实人脸与平均人脸数据之中,学习并建立自适应3D 建模,以头部姿态估计定位头部朝向,同时通过定位瞳孔外缘的中心和角膜虚拟球体的中心,定位视线矢量原点,最终双向结合判断视线朝向。不难看出,目前业内对于如何通过角膜反射法,将精确视线与稳定视线相结合,并解决亮瞳与暗瞳识别的技术难题,在I-CS 系统上表现完美,且人脸认证可支持RGB 图像注册以及IR 图像识别。这有利于真正部署上车时候主机厂的多样化选择。
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/qczy/qczy202121/qczy20212119-7-l.jpg)
最为主要的DMS 系统表现出色,那OMS 系统能力已无需多疑。乘客监测之中针对遗落物体,非触碰式手势交互、视线交互、头部动作交互均一一过关,OMS最为主要的儿童监测我是没法冒充的,尝试以身形矮小人员模仿亦告失败。毕竟I-CS 系统除了人脸监测以外,还增加了比对人体骨骼点达成人体比例分析,准确定位人体进行身高分析的多重结合判断,是否儿童一目了然。唯一遗憾是现场没抓到一只猫或狗。所以宠物监测没有结果。
结语:
每次技术测试都是有趣的,这次也不例外。MINIEYE I-CS 座舱感知方案的精确与智能,让我对于这家叫自己“小眼睛”的MINIEYE 企业,舱内监测功能实力有了全新的认知,非要找缺点也是有的,IR 摄像头出来的“惊吓”效果,绝对可划分至“成人限制”级别。考虑到事关驾乘小命的安全也就无所谓了,更何况真正装车后想看估计还看不到呢。
专访MINIEYE 智能座舱事业部总经理杨一泓
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/qczy/qczy202121/qczy20212119-8-l.jpg)
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/qczy/qczy202121/qczy20212119-9-l.jpg)
AF :舱内感知功能与舱外感知功能对于ADAS 系统而言谁更重要
杨一泓:舱内感知功能尤其是DMS技术,未来会是L2 及以上自动驾驶关键系统的“最后一道安全阀门”。做好了DMS 相关技术可以保证在自动驾驶或半自动驾驶开启的情况下,驾驶员能够始终保持对路面情况有所警戒,能够在危险时刻及时甚至提前接管车辆。因此对我们而言,拥有DMS 功能的舱内感知系统与自动驾驶系统一样,具备非常高的安全属性,同时也肩负着非常重要的安全责任。随着自动驾驶的进阶发展,未来舱内和舱外的融合会不断加强,这也是MINIEYE 一直推崇所谓“全域感知”技术路线的原因。
AF :MINIEYE I-CS 座舱感知方案与友商的解决方案相比的主要优势在那些方面?
杨一泓: MINIEYE I-CS 拥有三个优势,首先I-CS 深度学习模块可提供高度精准的算法结果,通过多年的技术积累,我们专注交通场景、驾乘习惯等相关环境应用,掌握了扎实的模型设计方案,为后续方案适配打下了良好的基础;其次我们累积了很多基于真实交通的案例分析经验,包括功能层、应用层对于关键结果的封装、相关功能结果的权重占比等,这一系列的整套设计能够实现更好的体验感,同时也符合真实交通环境与驾驶情况;再次截止目前, I-CS 方案实现超30 个乘用车车型定点,相关技术已成功覆盖乘用车和商用车两大领域, 其中DMS 产品至今装车量已超过10 万台。与MINIEYE合作的国内外企业,涵盖众多知名车企、Tier1、物流车队等前后装合作方,我们能够适应不同类型客户的多样化、个性化量产需求。所以对于更真实的客户反馈,我们也非常有信心。
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/qczy/qczy202121/qczy20212119-10-l.jpg)
AF :MINIEYE I-CS 座舱感知方案下一步将有何创新
杨一泓:未来的工作重心,首先我们会花更多精力用来打磨场景式的主动服务方案,进一步深度分析基于特殊场景下的客户需求,并针对这些需求痛点,设计完善一整套的解决方案。包括我们在发布会上提出的“无缝入车、安全接管、疲劳监测、儿童看护、多人娱乐”五大主动服务场景,未来不仅会继续深挖这五个场景,还会根据用户情况拓展更多的实用场景,满足市场需求。其次,多模态、多传感器融合是MINIEYE 坚持的方向,我们会把视觉感知技术与更多舱内指标相结合,比如人体健康、生理特征等,打造更加全能的感知方案,为智能汽车提供更丰富的软件服务。
AF :您眼中智能座舱系统的未来如何发展
杨一泓:未来智能座舱系统肯定以软件主导,产品设计方式也以客户需求灵活呈现,逐渐向互联网思维转变。行业角度来看,多模态融合会是明显的点,因为任何一种模态都有自身的缺点,只有多模态共存才能够解决更多用户需求,真正提升座舱体验。视觉感知将会是多模态最重要的一环。只有基于视觉观察,未来的汽车才拥有主动式服务能力与用户进行交互,提前预判用户需求,做到“更懂用户”。所以视觉前期学习用户、了解用户,并进行分析积累;后期所实现则是观察用户、感知用户,提供主动式服务。只有被动式交互与主动式服务结合在一起,才是真正的智能座舱。
AF :面对近乎于无限组合的客户需求,MINIEYE 的产品是否做好应对
杨一泓:整套I-CS 方案拥有非常高定制化特性,可根据主机厂与一级供应商的不同需求,提供灵活封装的软硬件解决方案。摄像头方案针对DMS、OMS不同模组与位置,我们都有丰富的项目经验和相应的自采集标准,且有快速移植与迭代的能力。第二,对于芯片的可移植性上,比如支持CPU/GPU/DSP 方案、基于不同嵌入式平台的加速库、国内外最主流芯片的适配经验等,也让我们方案有快速的移植优势。第三,我们还做了很多嵌入式优化、网络优化,让方案的资源占用率更小,可移植性优势再一步提升。基于这一系列成熟的方案,我们还会针对性地对实舱环境进行迭代,将更多的重点放在量產工作上。