300美元的投影仪怎么能骗过特斯拉的自动驾驶仪

6个月前,Ben- gurion大学的博士生Ben Nassi在Yuval Elovici教授的指导下,成功地对Mobileye 630 Pro驱动辅助系统进行了一系列的欺骗攻击,使用廉价的无人机和电池供电的投影仪。从那以后,他把这项技术扩展到了实验阶段——也很成功——他把一辆特斯拉Model X搞糊涂了,并将在特拉维夫举行的以色列网络技术大会(Cybertech Israel conference)上展示他的发现。

欺骗攻击在很大程度上依赖于人和人工智能图像识别的区别。在大多数情况下,图像Nassi和他的团队将巨魔特斯拉不会欺骗一个典型的人类司机,有些欺骗攻击近隐,依靠感知的差异不仅让欺骗成功,还试图逃避人类观察员。

纳西制作了一个视频,概述了他认为的这些欺骗攻击的危险,他称之为“ADAS幽灵”,还有一个提供视频的小网站,一个概述他工作的摘要,以及整篇参考论文本身。我们并不一定同意spin Nassi的工作,在很大程度上,在我们看来,特斯拉对这些故意混淆它的传感器的尝试做出了相当合理和良好的反应。然而,我们确实认为这种工作很重要,因为它证明了半自主驾驶系统防御设计的必要性。

纳西和他的团队对Model X的恶搞是在一名手持投影仪的人类助手的帮助下进行的,这是由于实验所在国家的无人机法律所规定的。但这一恶搞也可能是由无人机实施的,就像他早些时候对移动眼(Mobileye)驾驶员协助系统进行的欺骗攻击一样。

从安全的角度来看,这里有趣的角度是攻击者不必在攻击现场,也不需要留下任何证据,而且攻击者不需要太多的技术专长。一个拥有价值400美元的无人机和电池供电投影仪的青少年完全可以做到这一点,因为他只知道“嘿,在高速公路上拦截汽车会很滑稽,不是吗?”nassi的团队成功地使用了几台200- 300美元的投影仪,其中一台只有854x480分辨率和100流明。

当然,任何人都不应该让特斯拉在一开始就无人驾驶——自动驾驶仪是二级驾驶员辅助系统,而不是全自动汽车的控制器。尽管特斯拉没有回应记者的置评请求,但该公司的宣传资料非常清楚地描述了Autopilot(我们的重点):

自动驾驶仪是打算只使用一个完全专注的司机,他们的手在方向盘上,并准备随时接管。虽然Autopilot的设计目的是随着时间的推移变得更有能力,但以目前的形式来看,它不是一个自动驾驶系统,它不会把特斯拉变成自动驾驶汽车,也不允许驾驶员放弃责任。如果使用得当,自动驾驶仪可以减少驾驶员的总体工作量,8个外部摄像头、雷达和12个超声波传感器的冗余提供了一个额外的安全层,这是单靠两只眼睛无法做到的。

即使是“自动驾驶仪”这个名字本身也不像很多人认为的那么不合适——至少,如果你首先了解现代航空和海上自动驾驶仪系统的现实的话。维基百科引用了美国联邦航空管理局的先进航空电子设备手册,其中将自动驾驶系统定义为“不取代人类驾驶员的系统,(但)协助驾驶员控制车辆。”在高级航空电子手册的自动飞行控制章节的第一页,它写道:“除了学习如何使用自动驾驶仪,你还必须学习何时使用它,何时不使用它。”

在这些限制条件下,即使是在Nassi的视频中展示的最糟糕的反应——Model X在道路上转向跟随假的车道标记——似乎也不是那么糟糕。事实上,这段视频准确地展示了应该发生的事情:Model x的车主很担心他/她那辆昂贵的车会出什么问题——在自动驾驶仪转向不安全的方向后,他/她踩下了刹车,然后手动控制。

问题是,有充分的理由相信有太多的司机不相信他们真的需要注意。2019年的一项调查显示,近一半接受调查的司机认为,在打开自动驾驶仪时,把手从方向盘上拿开是安全的,6%的人甚至认为可以小睡一会儿。最近,马萨诸塞州民主党参议员爱德华·马基(Edward Markey)呼吁特斯拉提高其营销和文件的透明度,而民主党总统候选人杨致远(Andrew Yang)在一次竞选广告中也像之前的埃隆·马斯克(Elon Musk)在2018年的一个60分钟的视频片段中所做的那样,放手不管。

也许是时候考虑专门针对无人机和投影仪的立法了,就像激光指示器在变得流行和便宜之后受到监管一样。在这里进行的欺骗攻击中使用的一些技术也可能使人类司机感到困惑。虽然人类司机至少在理论上是可用的,警惕的,并准备接管任何混乱的人工智能系统,今天,这不会是永远的情况。在我们不再有人支持之前,着手制定禁止欺骗车辆传感器的法规是个好主意。