迷人的小眼睛

来源 :汽车之友 | 被引量 : 0次 | 上传用户:WANGYUEWANG
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读



  从无到有再到普及,不知不觉之间,ADAS 技术已经发展了一段不短的时间。从知道到认识再到习以为常,寻常人对于ADAS 功能的了解,也随着越来越多车辆配置ADAS 技术,日益丰富的功能选项极大便利驾乘感受得到逐步接受。或许不少人会认为ADAS 技术并不难,就连后装市场企业都纷纷推出号称具有ADAS 功能的产品,实际上真正厉害的技术产品,始终需要更深层次的积累与沉淀。譬如MINIEYE I-CS 座舱感知方案


日益重要的舱内感知功能


  A dv anc ed Dr iv er A ssist anc eSystem(ADAS) 高级驾驶辅助系统,作用是在紧急情况下,驾驶员主观反应之前作出主动判断和预防措施,达到预防和辅助的作用。高级辅助驾驶系统(ADAS)属于广义概念。凡能提升驾驶安全性和舒适性的功能,皆可归入其范畴,譬如大家所熟悉的ACC 自适应续航、AEB/CMbB自动紧急制动、TSR/TSI 交通标志识别、BSD/BLIS 盲点监测、LCA/LCMA 变道辅助、LDW 车道偏离预警等等,均可视为ADAS 系统功能之一。甚至就连高精地图都应归类其中,毕竟导航功能让不少人得以告别路盲症候群,而高精地图不但能提供更为精确的导航,还能为自动泊车等不少其他ADAS 功能提供定位佐证。
  通常消费者所理解的ADAS,大多是基于视觉感知方案外加多传感器融合的舱外感知功能。而对于DMS(驾驶员监测)以及OMS(乘客监测),甚至舱内物品及环境监测的舱内感知功能都不甚了解。从2018 年开始,随着汽车行业规范及法规的逐步完善,越来越多如Euro NCAP、EU Commission、US NHTSA、USNTSB 等测试组织与机构,纷纷提出针对舱内驾驶员、乘员感知功能的需求。部分更給出了明确的时间表,鼓励、推荐甚至强制在随后所生产的新车上,必须具备有能和舱内人机交互系统相结合的驾驶员监控系统,且针对未来车辆更着重强调需能检测滞留在车内儿童、宠物等活体,并提醒驾驶员的功能。有异于ADAS 系统之中的舱外感知功能,舱内感知功能更多依靠摄像头传感器达成。有数据显示,到2023 年,预计平均每辆车将配载2 颗以上的摄像头,而高端豪华型车辆预计将达到10 颗之多。这将让舱内功能从安全导向的监控功能,逐步过渡为理解人类意图,以舒适娱乐为导向的监控感知功能。



  值得一提的是,由于ADAS 功能早年就被归类划分至美国高速公路安全管理局(NHTSA)和国际自动机工程师学会(SAE)所制定的“自动驾驶分级参考”之内,所以不少人将其称为自动驾驶的简化版。实际上这应该属于一种误读,ADAS 功能真正意义上应该属于车辆的自动化功能,而自动驾驶分级参考更应理解成为对于车辆自动化程度的划分。ADAS 功能虽然减轻了驾驶员的驾驶压力,不过终归不能属于自动驾驶功能,充其量属于将来为自动驾驶提供感知的一环。

内行看门道


  通过追踪包括头部转向、面部表情、视线方向、手势以及肢体关节点等人体视觉特征,进一步分析驾驶员及乘客的身份信息、动作意图和行为数据,是ADAS舱内感知所实现的具体功能。这些貌似仅需数个摄像头摄取图像,比对目标数据库就能完成的“简单”功能,或许让不少人人感觉门槛并不高。这不就是生物特征检测嘛,消费电子领域老早就普及了,那些遍布各个角落,基于摄像头的物联网功能早烂大街了吧。



  不要忘了任何消费电子领域的技术与产品,一旦需要实现成为车载功能,那么就要另当别论了。“室内”与“舱内”,一字之差背后所需考虑的问题,堪称“外行看热闹,内行看门道”的经典解释。车载领域的严苛岂非寻常消费电子领域所能比拟。如ECU 上的计算资源限制、车规级摄像头模组的技术规格与未来发展规划、不同车型内饰设计以及座舱集成方可接受的摄像头位置布局,甚至还可能涉及到复杂的真实交通场景所带来的影响。简而言之,在极其考究能耗、空间、算力以及行驶安全性上,一套通盘考虑以上问题的ADAS 舱内感知功能解决方案,不但需要便于隐藏的娇小硬件,还需要具有低功耗且高效率的,基于车规级平台嵌入式计算机视觉与人工智能(AI)技术支持,更需要灵活封装的软件方案,以更好适应不同OEM 厂家定制化的需求。
  MINIEYE 近期所发布的这套I-CS座舱感知方案,是其在深耕汽车行业多年,经年累月所沉淀的技术底蕴之下所推出的成熟方案。这其中包含了两类MINIEYE自主研发的核心技术。第一项是针对神经网络轻量化以及快速运算需求的压缩技术。众所周知,作为视觉识别系统永远跳脱不开的卷积神经网络(ConvolutionalNeural Networks, CNN)算法,其从摄像头所获得的图像精确度,直接决定了识别成功率以及准确率。I-CS 的ThiNet 可以有效加速并压缩用于舱内感知的卷积神经网络。在保证极少的精确度衰减前提下,极尽所能地瘦身神经网络,通过ThiNet 裁剪,除身份识别功能外,用于DMS 的CNN 算法模块每帧仅占用234M Operations。而这套舱内感知的CNN 算法模块是为了车规级嵌入式平台量身打造,并根据自研CNN加速器特性进行深度定制,能有效发挥出CNN 加速器算力,达到理论峰值算力的95% 以上。另外一项则是CNN 高速推理框架技术:基于CPU/GPU 的MINIDNN 和基于FPGA 的HardNet。这项技术解决了当前CPU 面对大规模CNN 网络处理乏力的难题,有趣的是其除了具有高效的加速能力,支持基于Caffe、Tensorflow 等主流CNN 网络之外,更具有完全裁剪性,也就是说根据不同用户的需求,可随意裁剪出一款最适合的CNN 加速器并满足资源消耗和性能的平衡。


外行看热闹


  实际测试总是最好玩的。如果说看得懂上面一段内容的读者属于内行人士。那么为了外行群众也直观体会到这套I-CS座舱感知方案的热闹,我们选择在充分了解系统工作原理后,亲身上车成为DMS与OMS 系统监测对象,好好“测(Xi)试(shua)”一番。
  把测试系统安装在某国内造车新势力车型上测试实在用心良苦。与传统造车势力“字正腔圆”、“中规中矩”的架构体系相比,国内造车新势力所提倡的全新造车理念,以及大胆的功能需求,才是各类车载系统所需直面的挑战。I-CS 座舱感知方案硬件包含两个IR 红外摄像头及对应处理模块。其中DMS 功能摄像头安放在方向盘连接轴盖板,OMS 摄像头则处于后视镜后侧下沿。估计是因为测试原因,两个摄像头并没有被刻意隐藏起来,不过从其体积来看在实际交付时候,隐秘于车辆内饰完全不是问题。



  快速、准确地识别出活体驾驶员的一举一动是DMS 功能的主要诉求。一个成熟的测试者总会希望挑战各种“cornercase”之中的“corner case”。所以我决定首先以照片和视频方式挑战系统的“非配合式活体身份识别”。在穷尽各种欺骗手段后发现尽数失败,IR 摄像头的IR光源直接照片以及视频手段失效。随后本人祭出了日常驾驶之中所涉及的各类动作,包括模拟疲劳驾驶的闭合眼睑、打哈欠、头部上仰与低垂;模拟驾驶分神的头部左顾右盼、视线脱离正前方道路;模拟不良驾驶习惯的打电话、抽烟。无一例外全部快速识别并在监控屏幕上对应标定。系统工作原理在于从驾驶员入舱的一刻,从摄像头回馈图像之中,快速准确定位其面部的68 个特征點,通过在持续比对真实人脸与平均人脸数据之中,学习并建立自适应3D 建模,以头部姿态估计定位头部朝向,同时通过定位瞳孔外缘的中心和角膜虚拟球体的中心,定位视线矢量原点,最终双向结合判断视线朝向。不难看出,目前业内对于如何通过角膜反射法,将精确视线与稳定视线相结合,并解决亮瞳与暗瞳识别的技术难题,在I-CS 系统上表现完美,且人脸认证可支持RGB 图像注册以及IR 图像识别。这有利于真正部署上车时候主机厂的多样化选择。



  最为主要的DMS 系统表现出色,那OMS 系统能力已无需多疑。乘客监测之中针对遗落物体,非触碰式手势交互、视线交互、头部动作交互均一一过关,OMS最为主要的儿童监测我是没法冒充的,尝试以身形矮小人员模仿亦告失败。毕竟I-CS 系统除了人脸监测以外,还增加了比对人体骨骼点达成人体比例分析,准确定位人体进行身高分析的多重结合判断,是否儿童一目了然。唯一遗憾是现场没抓到一只猫或狗。所以宠物监测没有结果。

结语:


  每次技术测试都是有趣的,这次也不例外。MINIEYE I-CS 座舱感知方案的精确与智能,让我对于这家叫自己“小眼睛”的MINIEYE 企业,舱内监测功能实力有了全新的认知,非要找缺点也是有的,IR 摄像头出来的“惊吓”效果,绝对可划分至“成人限制”级别。考虑到事关驾乘小命的安全也就无所谓了,更何况真正装车后想看估计还看不到呢。
  专访MINIEYE 智能座舱事业部总经理杨一泓





  AF :舱内感知功能与舱外感知功能对于ADAS 系统而言谁更重要
  杨一泓:舱内感知功能尤其是DMS技术,未来会是L2 及以上自动驾驶关键系统的“最后一道安全阀门”。做好了DMS 相关技术可以保证在自动驾驶或半自动驾驶开启的情况下,驾驶员能够始终保持对路面情况有所警戒,能够在危险时刻及时甚至提前接管车辆。因此对我们而言,拥有DMS 功能的舱内感知系统与自动驾驶系统一样,具备非常高的安全属性,同时也肩负着非常重要的安全责任。随着自动驾驶的进阶发展,未来舱内和舱外的融合会不断加强,这也是MINIEYE 一直推崇所谓“全域感知”技术路线的原因。
  AF :MINIEYE I-CS 座舱感知方案与友商的解决方案相比的主要优势在那些方面?
  杨一泓: MINIEYE I-CS 拥有三个优势,首先I-CS 深度学习模块可提供高度精准的算法结果,通过多年的技术积累,我们专注交通场景、驾乘习惯等相关环境应用,掌握了扎实的模型设计方案,为后续方案适配打下了良好的基础;其次我们累积了很多基于真实交通的案例分析经验,包括功能层、应用层对于关键结果的封装、相关功能结果的权重占比等,这一系列的整套设计能够实现更好的体验感,同时也符合真实交通环境与驾驶情况;再次截止目前, I-CS 方案实现超30 个乘用车车型定点,相关技术已成功覆盖乘用车和商用车两大领域, 其中DMS 产品至今装车量已超过10 万台。与MINIEYE合作的国内外企业,涵盖众多知名车企、Tier1、物流车队等前后装合作方,我们能够适应不同类型客户的多样化、个性化量产需求。所以对于更真实的客户反馈,我们也非常有信心。



  AF :MINIEYE I-CS 座舱感知方案下一步将有何创新
  杨一泓:未来的工作重心,首先我们会花更多精力用来打磨场景式的主动服务方案,进一步深度分析基于特殊场景下的客户需求,并针对这些需求痛点,设计完善一整套的解决方案。包括我们在发布会上提出的“无缝入车、安全接管、疲劳监测、儿童看护、多人娱乐”五大主动服务场景,未来不仅会继续深挖这五个场景,还会根据用户情况拓展更多的实用场景,满足市场需求。其次,多模态、多传感器融合是MINIEYE 坚持的方向,我们会把视觉感知技术与更多舱内指标相结合,比如人体健康、生理特征等,打造更加全能的感知方案,为智能汽车提供更丰富的软件服务。
  AF :您眼中智能座舱系统的未来如何发展
  杨一泓:未来智能座舱系统肯定以软件主导,产品设计方式也以客户需求灵活呈现,逐渐向互联网思维转变。行业角度来看,多模态融合会是明显的点,因为任何一种模态都有自身的缺点,只有多模态共存才能够解决更多用户需求,真正提升座舱体验。视觉感知将会是多模态最重要的一环。只有基于视觉观察,未来的汽车才拥有主动式服务能力与用户进行交互,提前预判用户需求,做到“更懂用户”。所以视觉前期学习用户、了解用户,并进行分析积累;后期所实现则是观察用户、感知用户,提供主动式服务。只有被动式交互与主动式服务结合在一起,才是真正的智能座舱。
  AF :面对近乎于无限组合的客户需求,MINIEYE 的产品是否做好应对
  杨一泓:整套I-CS 方案拥有非常高定制化特性,可根据主机厂与一级供应商的不同需求,提供灵活封装的软硬件解决方案。摄像头方案针对DMS、OMS不同模组与位置,我们都有丰富的项目经验和相应的自采集标准,且有快速移植与迭代的能力。第二,对于芯片的可移植性上,比如支持CPU/GPU/DSP 方案、基于不同嵌入式平台的加速库、国内外最主流芯片的适配经验等,也让我们方案有快速的移植优势。第三,我们还做了很多嵌入式优化、网络优化,让方案的资源占用率更小,可移植性优势再一步提升。基于这一系列成熟的方案,我们还会针对性地对实舱环境进行迭代,将更多的重点放在量產工作上。
其他文献
而“中国星·旗舰家轿”吉利星瑞的高配车型销量占比也达到65%,平均成交价格超过13.4 万元。可以说,中国星已成功杀入合资品牌“价格腹地”,真正以“高价值”与合资品牌正面硬刚,中国星的成功对吉利的高质量发展、品牌向上乃至整个中国品牌而言,都具有极其重要的意义。  在星越L 迎来第3 万辆下线之际,吉利汽车秉承“以用户为中心”的服务理念,延续中国星“不比不试不卖”IP与“开门造车”理念,邀请我们走进
期刊
引言  胰腺手术后(以胰十二指肠切除术为代表,包括远端胰腺切除术、节段性胰腺切除术等)的围手术期病死率已明显下降,但围手术期外科相关并发症发生率仍较高。
期刊
目的 探讨中颅窝蛛网膜囊肿神经内镜手术的治疗经验并评估其治疗效果.方法 回顾2004年1月至2009年6月使用神经内镜行囊肿-脑池造瘘治疗中颅窝蛛网膜囊肿32例,其中男性21例,女性11例,年龄6个月~39岁,平均年龄8.4岁,包括5例幼儿患者,年龄2~5岁.分析病例的临床资料,包括临床症状、影像学表现、手术适应证、手术技巧、手术并发症以及临床及影像学随访结果 .结果 患者术后随访时间8~72个月
达芬奇机器人手术系统的问世及应用开辟了微创外科的新时代,现已在泌尿外科、妇科、心血管外科等领域得到较广泛应用[1].而在胃癌外科领域,由于手术难度大,技术要求高,手术设备较昂贵等各种因素,在世界范围内机器人胃癌根治手术基本上处于探索阶段,仅有少数报道[2].本中心于2010年3月应用达芬奇手术系统实施胃癌根治术5例,近期疗效满意,现总结报告如下。
期刊
在本次Honda 中国电动化战略发布会上,Honda 中国正式发布了全新纯电动车品牌“e:N”。与此同时,“e:N“系列量产车第一弹:东风Honda 的e:NS1 特装版和广汽Honda 的e:NP1 特装版全球首发,这两款纯电动车量产车型将于2022年春季上市。以本次发布会为起点,Honda 在中国开启面向电动化品牌转型的新篇章,全力迈向电动化新时代。  “e:N”的命名,不仅承载着Honda
期刊
在我国,直肠癌是较常见的恶性肿瘤.长期以来,直肠癌的治疗一直沿用以手术为主的综合疗法.外科医生在直肠癌的治疗中占有非常重要的地位.但随着科学技术的进步,新的诊断和治疗手段的出现,包括应用MRI对直肠癌患者的术前精确分期,新的化学药物和靶向药物的研发,新型三维适型放疗技术的发展,外科吻合技术及微创外科技术的进步,已使直肠癌的治疗有了较大的发展;相当一部分直肠癌在外科就诊后不是首选外科手术,包括术前辅
期刊
超级跑车在大多数车迷心中除了令人过目不忘的外形,动力永远是被津津乐道的部分,超跑的动力一直被冠以大排量,自然吸气,高扭矩输出,3 秒破百等固有标签,即使是涡轮增压都会被车迷嗤之以鼻,认为是背离传统的倒退,如今,越来越多的超级跑车则玩起了混动,这种加持是市场的妥协还是另外一种技术潮流呢?  众所周知,现在越来越多的主流车型开始推出混动技术,究其原因最主要的是为了满足积分和排放的法规,同时成熟的混动技
期刊
采用脊柱矫形内固定融合手术治疗儿童脊柱侧凸,虽可改善畸形,但由于限制了脊柱的生长,影响儿童胸腔脏器的发育,甚至会出现"曲轴现象"[1],严重者可导致胸廓发育不全综合征(thoracic insufficiency syndrome,TIS)[2].如何在手术矫形治疗过程中最大程度地保留脊柱的生长能力,一直是困扰脊柱外科医生的难题,而非融合技术是目前解决这一难题的有效方法。
期刊
Continental 是一个十分有意思的单词。往上溯源其演变自15 世纪中期拉丁语 terra continens(连续的土地),翻译得到的英语continent land。1818 年开始,Continental 作为形容词正式成为纯粹的地理术语,被用于“与大陆有关或属于大陆的形容描述上”。1828 年至今,该单词的名词使用通常指代“大陆原住民或居民”,最为有意思的是,不论在哪本辞典之中,Co
期刊
根据读者举报、本刊编辑部调查核实,《中华外科杂志》2009年第17期刊登的“PTC1体外转染肺腺癌细胞系A549对细胞生长和凋亡的影响”一文,系挪用华中科技大学2007级博士学位论文第三部分“胰腺癌细胞系体外转染PTC1对EGFR表达的影响”的结果及数据之作。