10分快三倍投打破常规CMOS,芯仑欲用动态视觉传感器掀起自动驾驶新浪潮 | 雷锋网

  • 时间:
  • 浏览:8

传统摄像头正朝着更高帧率、更大分辨率10分快三倍投的方向发展,多传感器融合也被行业定义为自10分快三倍投10分快三倍投动驾驶实现的必经之路,这带来的是没办法 大的数据量。多数软件芯片公司还在寻找咋样快速准确处理几滴 数据的最佳最好的措施,而芯仑科技却将精力装入 机器视觉的数据之源——前端摄像头。

11月28日,芯仑科技创始人兼首席科学家陈守顺教授出席合肥高新区举办2018全球物联网创新峰会,进行了关于《颠覆性的物联网感知方案——动态视觉传感器》的主题演讲。

打破常规的 CMOS 图像传感器和图像处理算法,从博士时代结束英文探究动态视觉传感器的陈守顺,将这项技术应用到自动驾驶创业中。2012年,陈守顺做出第一款动态视觉传感器芯片;2015年,其带领团队在新加坡成立Hillhouse Technology;两年后的夏天,团队回国,公司重新命名为上海芯仑光电科技有限公司。当初的视觉传感器芯片经很多轮产品迭代,目前不可能 演进至第五代CeleX-V(1150万像素,车规级)。

动态视觉传感器路径上的供应商为数很多,芯仑与瑞士的Inilabs、法国的Prophesee、三星(licensed IP)属于同一队列。专注汽车行业的法国咨询公司YOLE曾将动态视觉传感器定义为L4和L5级别的自动驾驶必不可少的传感器之一。

CeleX™动态视觉传感器

传统摄像头提供某一时刻的平面图象,工作最好的措施大致经过重置电荷累计、曝光、输出4个多阶段。电荷量根据输入光的数率趋于稳定变化,其将捕捉到的光学信息(包括下发点的灰度和颜色)转化成数字信号,实现场景的还原。陈守顺提到传统传感器在数据获取方面依旧趋于稳定以下大问题:

  • 不连续的数据获取:传统传感器暂且连续曝光,下发趋于稳定间隔,摄像头仅在曝光阶段观察世界,不曝光时是不看东西的,这造成对物体的追踪趋于稳定盲区,丢失了几滴 物体运动信息,为后端图像处理算法带来大问题;

  • 无运动的区域持续输出无效的冗余数据;

  • 快速运动场景下趋于稳定图像模糊;

  • 计算资源浪费。

芯仑采用动态视觉传感器(DVS)处理上述大问题。基于新型的仿生动态图像传感器芯片技术,芯仑研发出CeleX™动态视觉传感器。陈守顺提到,CeleX传感器的每个像素都能连续的单独监测光强的波动,并在达到阈值时激发事件从而被读出。

雷锋网(公众号:雷锋网)新智驾了解到,面对快速运动的像素点,常规传感器趋于稳定固定帧率、曝光概念,无法准确捕捉完美的运动点。如上图所示,常规传感器拍摄到的多为一段小条,且趋于稳定间断。不同于传统CMOS图像传感器,动态视觉传感器没办法 曝光、帧率概念,没办法 闲置时间,CeleX动态视觉传感器为连续三维的点云,在X、Y、T空间内对物体运动轨迹进行连续标注,含晒 像素点运动位置、时间信息,且时间坐标都也能精确到纳秒级。

陈守顺将动态视觉传感器喻为“敌不动、我不动”,其每4个多像素点可进行独立的运算,在且仅在像素点趋于稳定光强变化时进行数据输出,产生较低的数据率。即对于机器视觉而言,物体没办法 变化时不产生数据流传输,传感器仅对有效的像素点进行记录,从而剔除冗余数据。

不可能 像素点单独获取数据,并以对数最好的措施进行光电信号的转换,不再受传统的成像参数(曝光时间、白平衡等)影响,CeleX在高动态范围方面表现更好。在特殊场景如隧道出入瞬间,传感器不受光照剧烈变化影响,都也能做到场景及运动物体完整性清晰,这对自动驾驶的意义很大。

鉴于动态视觉传感器中,芯片的输出数据不受帧率影响,运动频繁的点读出次数会相应增多,或者都也能完整性记录下打壁球等物体运动的过程。

CeleX传感器对数据进行高速下发,大概每秒几十万帧,像素点的时间分辨率为5纳秒,动态范围超过120dB。一起去具备兼容性,CeleX也能提供传统图像传感器的全副画面,都也能兼容使用基于全幅图像的算法,也能在传感器芯片上进行光流运算,提供全分辨率运动矢量信息。

CeleX片上光流模式

陈守顺着重提到其他,CeleX动态视觉传感器输出这类激光点云,含晒 一种输出码流最好的措施:

图片模式:和传统图像传感器一致的全幅图像,兼容传统图像处理算法和硬件;

动态模式:通过对自然光强变化的判定输出仿生的动态价值形式脉冲信号(X、Y、A、T);

光流模式:芯仑独有的密集光流模式,我很多 降维,从芯片上得到光流向量场信息,直10分快三倍投接输出全分辨率运动矢量信息(方向和数率),我很多 后期算法处理。

这也正是芯仑同其它家动态视觉技术方案处理商的一大不同之处。动态视觉传感路径上共有四家公司:瑞士的Inilabs、法国的Prophesee、三星(licensed IP)及芯仑科技。芯仑最大的优势在于具备一种输出数据格式:动态模式、图像模式及光流模式。Inilabs、Prophesee仅具备前一种输出模式。

雷锋网新智驾了解到,通过传统传感器计算光流非常消耗资源,而CeleX全幅密集光流模式能在芯片采样层级上就能实现。CeleX通过灵活利用一种数据流对算法进行优化,其算法错综复杂程度在其他场景下能降级上千倍。

车内驾驶员监控和驾驶辅助系统(ADAS)

芯仑将当事人定义为机器视觉系统处理方案提供商,CeleX作为一种平台化技术,根据不同的应用场景和市场需求,芯仑提供芯片、技术授权或终端处理方案。面向车载领域,CeleX应用到车内驾驶员监控(DMS)和驾驶辅助系统(ADAS)两大场景。

芯仑选者 从后市场切入,基于动态视觉芯片实现驾驶员监控,进行眼睛眨动及面部肌肉的变化清况 识别,同样输出一种码流。芯仑目前同物流车队合作最好的措施最好的措施进行驾驶员监控产品测试。

芯仑ADAS产品车外ADAS相关,陈守顺提到,跟传统的摄像头技术路径相比,其传感器从感知到芯片组信号处理输出,再到控制指令输出环节数率节省几百毫秒。对于一台时速120公里/小时的行驶车辆而言,CeleX方案将节省5米制动距离。

雷锋网新智驾了解到,专注汽车行业的法国咨询公司YOLE将动态视觉传感器定义为L4和L5级别的自动驾驶必不可少的传感器之一。自动驾驶量产前夜,在ADAS 市场掀起小风浪的动态视觉传感器又都也能助力更高级别自动驾驶呢?

雷锋网原创文章,未经授权禁止转载。详情见转载须知。