干货!特斯拉Autopilot核心传感器解读「摄像头篇」

加入高工智能汽车行业群（自动驾驶行业4群，车联网智能座舱3群，智能商用车行业群），加微信：15818636852，并出示名片，仅限智能网联汽车零部件及OEM厂商。

目前为止，特斯拉的Autopilot一共经历了三代硬件的更迭，分别是Autopilot1.0，2.0和2.5。按照目前特斯拉的公开信息，Autopilot3.0硬件将可能在今年底和自主研发的芯片一起推出。

从上期开始，《高工智能汽车》陆续独家深入解读Autopilot几代硬件平台核心传感器的迭代历史，以及相关的供应商变化。（点击阅读上期解读：毫米波雷达篇）

一、首先，我们看下视觉的主要处理器的变化：

AutoPilot HW1.0：基于Mobileye EyeQ3硬件/软件，一个前置摄像头，一个毫米波雷达和12个远程超声波传感器。从2014年9月至2016年10月中旬，特斯拉生产的所有汽车都配备了上述自动驾驶硬件。

AutoPilot HW2.0：硬件包括英伟达的DRIVE PX 2 AI计算平台，特斯拉的说法是性能比HW1.0强大40倍。此外，该系统还包括8个摄像头、12个远程超声波传感器(约30英尺范围)和一个前置毫米波雷达。2016年10月19日以后生产的所有特斯拉汽车都包含了上述硬件。

同时，提供了两个级别的可选软件-增强的AutoPilot、完全自动驾驶(FSD)选项（提供L4级或L5级自动驾驶），当时预估一旦完成并获得监管机构批准，可能在2019-2020年（和最新的马斯克披露今年底完成功能验证测试还是非常接近）。但完全自动驾驶需要基于HW3.0的新处理器（特斯拉自主研发）。

特斯拉HW2.0处理器板包括一个Nvidia PG418 MXM模块。这个板包含一个GP106 GPU和4 GB的GDDR5内存。GPU有1280个CUDA核心，在这种配置中使用128位宽内存。有趣的是，PG418板有额外的4 GB内存的平板，用于256位宽版本的GPU。

主板还包括许多额外的部件，包括英飞凌的32位微处理器；具有传感器和航迹推算能力的ublox NEO-M8L GPS/GLONASS/Galileo/北斗模块；Nvidia TA795 Tegra SoC采用双核CPU、四核Arm Cortex-A57和集成Pascal架构。

在Model S和Model X上，中央处理单元采用风机风冷。在Model 3上，改用汽车的冷却系统进行液体冷却。

AutoPilot HW3.0（即将推出）：特斯拉在2018年末宣布，该模块包括一个特斯拉自主研发的处理器（性能远远超过HW2.0平台）。此前预计2019年年中生产的所有Model S/X/3车型都将配备这款新处理器。

二、接下来，我们看看特斯拉的摄像头配置。

AutoPilot HW1.0：前向搭载1颗单目摄像头，为Mobileye提供。后向摄像头采用的是SEMCO（三星电机）。

AutoPilot HW2.0：彩色相机使用四个滤镜- RGGB(红，绿，绿，蓝)，在单元格上创建一个单一的颜色像素(两个绿色用于提高分辨率/亮度)。摄像头的其中三个滤镜为单色可见光，另外一个使用红色滤光片(RCCC)，增加单色光的灵敏度，检测红色交通灯和尾灯。

除了后置摄像头外，其余搭载的摄像头都是使用Aptina AR0132摄像头传感器(Aptina现在是安森美半导体的子公司)，1/3英寸、1.2MP CMOS，能够在60帧每秒的速度下输出720p；1280 x 964，每秒30帧。其中每帧有4行垂直为非可视数据（可见的为1280 x 960）。

后置摄像头采用豪威科技的OV10635（早期使用的是OV10630） 720p CMOS传感器（1160x720，30帧每秒）。来自日本的SMK Corporation是组装该摄像头模块的公司。

和AutoPilot HW1.0不同，后摄像头模块发生了变化，并有一个内置的加热元件。模块通过四根电线连接——电源和LVDS数据线。

AutoPilot HW2.5：新增的行车记录仪和哨兵模式功能使用的摄像头是全彩的，分别基于窄视场角的前摄像头和左右两侧的侧标志（翼子板T标）摄像头。

如果要启动行车记录功能，你需要一个小的USB闪存驱动器，在FAT32中格式化。驱动器需要手动创建一个名为“TeslaCam”的文件夹，并插入一个前USB端口。系统自动识别，同时触摸屏上方的状态栏中就会出现一个行车记录仪图标。

此时，行车记录仪自动开始记录，您可以通过按下图标来控制行车记录仪。当该功能被使用时，它会记录一个小时，然后覆盖旧视频。

此外，特斯拉的软件更新版本2018.14.1开始要求车主选择“车辆数据共享”，其中包括通过外部摄像头拍摄的短视频剪辑，这些数据将用于改善Autopilot的安全性。

全部8颗车外摄像头的位置及参数：

前向三颗摄像头（挡风玻璃后）：前向窄视场角(1.5英寸到边)，最大距离820英尺（约250米），35度视场角；前向主摄像头(1.5英寸到边)，最大距离260英尺（80米），50度视场角；前向鱼眼摄像头（位于中间），最大距离195英尺（60米），150度视场角。

左B柱摄像头，195英尺（60米），80度视场角；右B柱，195英尺（60米），80度视场角；左视镜下方翼子板位置后视摄像头，325英尺（100米），60度视场角；右视镜下方翼子板位置后视摄像头（100米），325英尺，60度视场角。

其中，左右B柱的摄像头，此前马斯克曾透露，未来将用于人脸识别开门，但目前这个功能仍处于未激活状态。

后视摄像头最大距离160英尺（约50米），140度视场角；另外，在Model 3上还有一颗座舱内的监控摄像头。

特斯拉此前声称，这颗摄像头目前处于关闭状态，但的确是可以用来监控司机在自动驾驶过程中的注意力。

以下是一个基于Autopilot 2.0硬件套件的自动驾驶软件演示，特斯拉还展示了这些摄像头的角度：这是特斯拉Autopilot用来做出驾驶决定的信息的视觉部分。

三、运算能力决定视觉处理

众所周知，视觉处理和芯片运算能力紧密相关。

特斯拉的视觉神经网络与谷歌的有很强的相似性，此前特斯拉人工智能和自动驾驶视觉部门的主管Andrej Karpathy在谷歌工作时负责谷歌神经网络。其中一个主要的区别是，特斯拉的神经网络使用的分辨率比谷歌的计算机视觉系统更高。

此外，谷歌的ImageNet训练数据集包含100万幅图像。但特斯拉拥有约30万辆配置有HW2.0的车辆，能够捕捉数十亿张图像。

按照去年的数据，全球特斯拉汽车保有量达到了50万辆，而车主在开启Autopilot的状态下累计行驶里程达到10亿英里。

Andrej Karpathy上任后，很多代码正在从软件1.0(由人类编写的代码)过渡到软件2.0(由优化编写的代码，通常以神经网络训练的形式)。在新的范例中，开发人员的大部分注意力从设计显式算法转移到管理大型、多样和干净的数据集，这些数据集间接地影响代码。

特斯拉计划今年第二季度推出Autopilot HW3.0，就是为运行深度神经网络而定制的新型处理器。官方信息是预计HW3.0的计算能力大约是HW2.0的10倍。

根据特斯拉车主的拆卸和英伟达PX 2芯片的规格，我们可以估计，HW2.0每秒大约可以执行10万亿次深度神经网络(DNN)运算（10 DNN teraops），那么HW3.0应该有大约100 DNN teraops。

而Mobileye披露的EyeQ5芯片的性能约是24 DNN teraops，大约是HW3.0的四分之一。而根据早期Waymo的一些数据，其芯片运算能力也大致相当于100 DNN teraops。

而英伟达新推出的Pegasus，专为全自动驾驶汽车设计，广告上宣传的是320 DNN teraops。这是HW3.0的三倍多。

在去年三季度的一次电话会议上，Andrej Karpathy曾说过这么一段话：我的团队训练了所有的神经网络，用来分析Autopilot从所有摄像头传回来的图像。这些神经网络识别汽车、车道线、交通标志等等。团队对于即将升级的自动驾驶计算机感到非常兴奋。

我们目前所处的阶段是，训练的大型神经网络运行良好，但由于车端搭载的计算能力的限制，我们无法将它们部署到车上。因此，所有这些都将随着硬件的下一次迭代（HW3.0）而改变，这是计算能力的巨大进步。

这意味着HW3.0的推出，Autopilot的视觉处理算法可能会出现一次重大的升级拐点。

有立场，有态度的智能网联汽车全产业链服务平台

商务合作咨询：15818636852 郑先生