自从特斯拉将Model 3投入生产以来,时间已经过去了近3年,然而该款车内面向座舱、位于后视镜上方的摄像头一直处于“休眠状态”。
近日,特斯拉CEO埃隆·马斯克透露了Model 3中这款摄像头的功能,特斯拉在开启Autopilot自动驾驶系统时可以使用该摄像头监控驾驶员的注意力,同时还能防止乘客在乘坐自动驾驶共享汽车时恶意破坏汽车。
去年,马斯克还为该摄像头申请了名为“基于乘客‘身体’空间位置而打造车辆个性化系统及方法”的专利,专利中表明在某些应用示例中,用户可根据偏好进行初级车载定制化配置,比如调整驾驶座椅、车辆侧视镜、音乐偏好、驾驶模式偏好等电动可调节部件的相关设定值。
摄像头作为推动汽车发展的关键传感器之一,不仅在自动驾驶应用中大展身手,还是未来智能化座舱的必备帮手,例如人机交互界面、注意力状态监控、健康状态监控等方面,摄像头应用都将占据一席之地。
相关ADAS的视觉方案
随着日常出行对安全性、舒适性要求的提升,自动驾驶的优势与价值不断显现,以ADAS(高级驾驶辅助系统)为核心的自动驾驶技术发展迎来关键节点。其中,传感器中视觉的性能将在下一代迎来飞跃,预计未来3—5年量产的前视摄像头中,单目测距达到200米—300米,像素在2Mp到8Mp之间。在成本占据优势的前提下性能与长距离毫米波雷达差距大幅减小,同时兼具成本和图像识别等方面的优势,目前,基于纯视觉的L4级方案百度Apollo Lite已经路测成功,未来视觉传感器在汽车产业链中的比重将持续提升。
摄像头在汽车上的应用方案包含前视方案和环视方案。前视方案目前主要分为单目和双目摄像头两种类型。简单讲,单目摄像头的测距原理是先通过图像匹配进行目标识别(各种车型、行人、物体等),识别出物体的具体轮廓,根据传感器的尺寸再通过目标在图像中的像素大小估算目标距离。这就要求在估算距离之前首先对目标进行准确识别,判断是汽车、人、货车、SUV还是小轿车。通常单目摄像头内嵌于车内后视镜中,单目测距的算法包括传统机器学习算法与深度学习中的卷积神经网络(CNN)。
准确识别是准确估算距离的第一步。要做到这一点,就需要建立并不断维护一个庞大的样本特征数据库。保证这个数据库包含待识别目标的全部特征数据。而双目摄像头就是利用两幅图像的视差直接测量距离,类似于人眼的感知,无需判断物体的类型。通常双目摄像头置于车内后视镜上方的挡风玻璃处。理论上,双目摄像头的精度可达毫米级,而且双目摄像头计算距离所花费的时间远低于单目摄像头。
除了单双目之外,还有多摄像头组成的平台。有的方案中选用长焦和广角摄像头于ADAS主摄像头配合,兼顾周围环境与远处物体探测。
而以目前行业水准来看,主流方案测距上单目优于双目,远期来看,优于单目方案测距与分辨率挂钩,摄像头像素提升对于单目性能有卓越提升效果,双目产品受限于同步性等因素,难以超越单目。
环视方案则是通过4—6个广角摄像头采集图像数据,拼接后合成360度的全景俯视图,现阶段多用于可视化系统。可视化系统提供车身周围实时的俯视图像,用全景图像消除车身周围的视野盲区,提供相对方位与距离信息。
不同的方案有不同的用途,比如前视方案普遍用于车体纵向的识别、测距等,如前车碰撞预警、行人碰撞预警、紧急制动刹车和自适应巡航等。而环视方案普遍用于自主泊车以及辅助横向的预警、控制,包括车道偏离预警、车道保持功能等。
相关状态监测的视觉方案
在驾驶员体验方面,车内摄像头可用于车内的身份识别、检测驾驶员状态、手势识别等,提高安全性。
驾驶员监控(DMS)系统的功能主要针对驾驶员的疲劳、分神、不规范驾驶等危险情况进行一层或多层预警,要求在全部工况环境下工作,包括暗光、夜晚、逆光等环境,且不能受驾驶员衣着的妨碍。
比如在最近的疫情期间,人们在公共场合自觉佩戴口罩以防止COVID-19的传播,这向绝大部分人脸识别系统抛出了难题,驾驶员监控系统也不例外。例如,苹果面部识别和谷歌Pixel 4的面部识别功能可以识别刮掉胡须或戴着太阳镜的人,但如果用户佩戴了口罩就无法识别。
而座舱监控系统开发商Eyesight Technologies表示,即使驾驶员佩戴了口罩,其平台也能检测到其是否分心或昏昏欲睡。据悉,Eyesight的解决方案是一系列经过训练的AI算法,可透过太阳镜、防护眼镜和口罩监控驾驶员。Eyesight的Driver Sense和Fleet Sense售后系统都利用IR(红外光谱)传感器进行检测,能够在所有照明条件下追踪驾驶员及其头部位置、眼睛张开程度、瞳孔扩张、眨眼频率、注视方向等。
据报道,一位Eyesight发言人表示,“传统上,我们的系统通过追踪嘴部和面部的某些特征来监测驾驶员。但我们已经积极地训练我们的AI和计算机视觉系统,使其即使在驾驶员佩戴口罩的情况下,也能进行监测。我们收集了大量驾驶员在不同驾驶场景下佩戴不同口罩的数据。”
软硬件、芯片、算法、Tire 1、OEM等供应商构成了汽车产业链,在产业链中,跨界融合的趋势越来越强。包括博世、大陆、电装在内的Tire 1已开始自行研发算法;算法公司也在朝Tire 1的角色靠拢,存在部分算法厂商跳过Tire 1或是承担Tire 1的职能直接成为OEM的供应商;部分软件公司进军造芯领域。
在科技技术快速发展的时代,更完美的方案不断涌现来解决自动驾驶汽车的痛点。近期阿里巴巴宣布达摩院自动驾驶实验室自主研发出全新的ISP处理器(Image Signal Processor,即图像信号处理器),使得车载摄像头在白天和夜间的图像识别能力大幅提升。
根据达摩院自动驾驶实验室的路测结果显示,使用达摩院ISP处理器,车载摄像头在夜间场景下,图像物体检测识别能力相比业内主流处理器有10%以上的大幅度提升,原本模糊不清的标注物也得以清晰识别。
随着时间的推移,技术开发、测试与验证的不断深入,自动驾驶功能会从L3级高速巡航、自动泊车等细分场景向全时段全场景自动化逐步完善,从而解放用户的工作与注意力,兑现更多的可能性。
关于九游会J9电子
九游会J9电子是国内全面的开发工具提供商, 致力于将全球先进的软件产品引荐给国内研发型企业使用,为企业提供研发、设计、管理过程中使用的各种软件工具,并致力于和客户一同提高研发、设计效率,缩短设计周期。九游会J9电子先后与arm、Altium、Ansys、QT、TestPlant、CollabNet、Parasoft以及TouchGFX等多家全球知名公司建立战略合作伙伴关系,并成为他们在中国区的重要分销合作伙伴。
九游会J9电子专注开发、设计、管理工具数十年,客户超过6000家,具有丰富的工具使用及客户支持经验积累,可以为客户提供从arm开发、EDA板级设计、软件编译及测试工具、结构设计工具、多物理场仿真工具以及嵌入式GUI工具等产品与服务。九游会J9电子在北京、上海、深圳设有分公司,业务遍布全国。
摘自戏说 eCar中国微信公众号