为推动AI和第四次工业革命的进步,安森美半导体在感知上做了非常久的投入,包括图像感知,多光谱、高光谱的感知,激光雷达感知、毫米波雷达感知、传感器融合深度感知。9月25日,安森美半导体召开“智能感知策略及方案”在线媒体交流会,安森美半导体智能感知部全球市场和应用工程副总裁易继辉向电子产品世界等媒体介绍了,公司在智能感知方面的新进展和策略。
市场上有一个误区,认为GPU和CPU是半导体里挑战性和难度最高的,实际上和传感器相比它是小巫见大巫。因为GPU和CPU里,它所要对付的主要在电子(Electron);但在图像传感器里,既要对付电子又要对付光子,光子和电子的结合使图像传感器变成非常复杂的半导体。未来还有更多芯片可以叠加起来,加上一些更智能化的,包括人工智能都可以直接放在图像传感器里。
图像传感的光电转换过程:光子打进来以后转换成电核,变成电信号,就相当于下雨时拿着水桶接雨,水桶越大接的雨量越大;同样,容积越大,光子转化成电子的电容、电荷量就越多。安森美半导体利用新技术,在传统小像素旁边开个大的蓄水池,把多余的电荷流到这边,从而使整个光强量、信息量提高,动态范围增加。此技术多用在端摄影机里,比如好莱坞著名导演李安拍摄《少年派的奇幻漂流》使用的ARRI公司摄影机,就是用的安森美半导体的图像传感器。现在,安森美逐渐将这个技术转入汽车行业,汽车的传感器;接下来会逐渐转入到工业机器视觉和其他领域。
Hayabusa系列产品用了这个技术以后,一次曝光就能实现95dB;经过多次曝光可以达到120dB;未来的平台,下一代的产品一次曝光有望达到110dB,多次曝光可以达到140dB。
100dB的宽动态是什么概念?以下图为例,这是夜晚经常碰到的场景,在这个场景下,车灯的宽动态范围是102dB。如果传感器只是70dB,这种场景很多细节是看不出来的。比如旁边有一个行人,如果传感器的宽动态不够,不到100dB,是看不出来这有一个行人;若用在机器视觉,可能侦探不到有一个行人在车子旁边。而安森美的110dB传感器完全可以提供非常详细的信息。
汽车感知的挑战与方案
汽车感知的挑战主要体现在成像上,具体来说有三个方面:
• 一是宽动态。大家开车的经验经常是,路的方向是固定的,在路上开车时没有办法控制太阳什么时候在哪个方向,有的时候就需要逆着太阳开。在自动驾驶时,这样的情况对摄像头的要求就非常得高。大家也有许多的经验,在强光下,因为光线太强了,周围一片黑,什么都看不见;从暗到亮,从车库、隧道出来,如果宽动态不够,可能根本没有办法看到或者只能看到暗处,或者只能看到亮处。
• 二是环境条件,车要能在东北零下几十度的环境开,也能够在沙漠开或者南方高温条件下开。
• 三是对图像传感器来说很独特的挑战:辨别LED指示牌、交通灯。现在包括中国、欧洲、美国、日本、其他国家在公路上都已经开始实行电子管控牌,都是用LED,对人来讲非常舒服,老远就看得清清楚楚,很明亮,特别是夜晚。但这样的LED因为闪烁频率没有标准,不一样。所以,图像传感器有的时候容易因为频率不同步,经常捕捉不到信号。对驾驶员人眼来看没有太大问题,但对机器视觉就是很大的挑战。过去的方案都是在软件里来解决,现在解决方案都已经做到芯片级了,做到硬件里面去直接解决掉。
汽车自动驾驶成像的多样化,包括外部感知、内部感知、增强视觉。外部感知非常复杂,包括远近、大小车辆、自行车;行人,大人、小孩、老人;一些路标、车线,斑马线,交通灯;要全天候的,白天,晚上,刮风,下雨,下雪,雾天;各个季节,春、夏、秋、冬都要能够实现这样的感知,环境非常多样化。
内部感知,从最早只是对驾驶员的疲劳监控(从看驾驶员眼睛的注意力和睫毛的抖动侦查出是否疲劳),逐渐地扩大到驾驶员有没有在用手机,有没有分散精力,有没有系好安全带,还进一步扩大到乘客的感知。这也是一个未来新兴市场。
视觉增强,主要是为了给驾驶员和乘客提供更好的视觉感知,包括电子后视镜,不需要回头就能在后视镜直接看到真正的电子图像;而且这种叠加,特别是把高清地图和真实路况叠加起来,告诉你前面哪里有加油站,哪里有重要的景点,哪里有红绿灯。这些都是视觉增强的应用,让驾驶员能够更安全地驾驶。