自动驾驶汽车报告数据正在推动AV创新上路

2020-08-05 01:10:16

格蕾丝·斯特里克兰(Grace Strickland)是一名律师,有六年多代表尖端行业技术客户的经验,包括自动运输。

约翰·麦克内利斯(John McNelis)是Fenwick&;West公司自主运输和共享移动实践的知识产权合伙人和领导者;他也是加州技术委员会(California Technology Council)自主运输倡议的主席。

然而,所有的脱离接触报告都有一个共同点:它们的有用性无处不在地受到那些必须提交它们的人的批评。总部位于旧金山的一家自动驾驶汽车公司的首席执行官兼创始人公开表示,脱离接触的报道“令人遗憾地不够充分”,美国有线电视新闻网(…)。给出一个有意义的信号,表明AV是否已经准备好进行商业部署。“。一家自动驾驶技术初创公司的首席执行官称这些指标是“被误导的”。Waymo在一条推文中表示,该指标“没有为其自动驾驶技术提供相关的见解”,也“没有将其在自动驾驶领域的表现与其他公司区分开来”。

1/7我们赞赏加州机动车管理局在制定这一要求时试图做的事情,但脱离指标没有提供对Waymo司机能力的相关见解,也没有将其表现与自动驾驶领域的其他司机区分开来。

为什么AV公司如此强烈地反对加州的脱离接触报告?他们认为,由于AV公司的不同测试策略缺乏背景,该指标具有误导性。我认为,缺乏对用于描述脱离接触的语言的指导也会使数据具有误导性。此外,该指标鼓励在不那么困难的情况下进行测试,并且比起更有洞察力的虚拟测试,更青睐真实世界的测试。

要在加州的公共道路上测试自动驾驶汽车,AV公司必须获得AV测试许可证。截至2020年6月22日,加州有66家自动车辆测试许可证持有者,其中36家公司报告2019年在加州进行了自动车辆测试。这些公司中只有五家拥有运送乘客的许可证。

要在加州的公共道路上运营,每个获准的公司必须在事故发生后10天内报告任何导致财产损失、身体伤害或死亡的碰撞。

到目前为止,2020年已经有24起自动驾驶汽车碰撞报告。然而,尽管大多数事故发生在自动驾驶模式下,但事故几乎完全是自动驾驶车辆追尾的结果。在加利福尼亚州,追尾事故几乎总是被认为是追尾司机的过错。

碰撞数据的用处显而易见, - 消费者和监管机构最关心的是自动驾驶车辆对行人和乘客的安全。如果车辆在自动驾驶模式下运行时,AV公司报告即使发生一起事故,导致车辆严重损坏或行人或乘客受伤,对该公司(可能是整个AV行业)的影响和影响都是巨大的。

然而,脱离接触报告数据的用处更值得怀疑。加州机动车管理局要求AV运营商在每年1月1日之前在加州公共道路上测试时报告脱离接触的数量和细节。机动车管理局将其定义为“他们的车辆在测试期间脱离自动驾驶模式的频率(无论是因为技术故障还是需要测试司机/操作员手动控制车辆才能安全操作的情况)”。

操作员还必须跟踪他们的车辆脱离自动模式的频率,以及这种脱离是软件故障、人为错误还是车辆操作员的选择造成的。

AV公司一直严格控制可测量的指标,通常只分享在受控设置下执行的演示的有限镜头,而且几乎没有数据(如果有的话)。一些公司偶尔会分享“年度安全报告”,这份报告读起来更像是一张宣传牌,而不是AV性能的数据来源。此外,几乎没有对在任何其他州进行公开测试的公司的报告要求。加州的脱离接触报告是个例外。

这个AV信息沙漠意味着加州的脱离接触报道经常被视为我们关于AV的唯一信息来源。公众被迫根据这些脱离接触的数据来判断AV的准备情况和相对表现,这些数据往好了说是不完整的,往坏了说是具有误导性的。

大多数AV公司声称,由于缺乏数字的上下文,脱离接触报告数据是判断AV行业进步的糟糕指标:了解这些里程是在哪里行驶的,以及这些旅行的目的对于理解脱离接触报告中的数据至关重要。

AV行业的一些人抱怨说,在人口稀少、气候干燥和很少有十字路口的地区行驶的里程与旧金山、匹兹堡或亚特兰大等城市的行驶里程不同。因此,在前一种地理位置测试的公司报告的脱离数量与在后一种地理位置测试的公司报告的脱离数量是不可比较的。

同样重要的是要理解,脱离接触报告要求会影响AV公司关于在哪里测试以及如何测试的决定。即使是在安全的情况下,也需要大量脱离的测试将是不受欢迎的,因为这会使该公司看起来比竞争对手更缺乏商业部署的准备。在现实中,这样的测试可能会产生最商业化的车辆。事实上,AV行业的一些人指责竞争对手操纵脱离接触报告指标,降低了随着时间推移行驶里程的难度,使其看起来像是真正的进步。

此外,当数据被轻松驾驶和畅通的道路操纵时,可能看起来特别好,但当它被战略性地用于改进反病毒软件时,数据可能看起来特别糟糕。

让我们来看看NPR报道交通市场的记者杰克·斯图尔特提供的一个例子:

“比方说,一家公司推出了一个全新的软件版本,他们在加州进行测试,因为加州就在他们的总部附近。这个软件在一开始可能会有额外的漏洞,你可以看到一大堆脱离的情况,但同一家公司可能在亚利桑那州的某个地方运营着商业服务,在那里他们不需要收集这些报告。

这项服务可能运行得非常顺利。仅仅通过观察这个非常严格的小指标,你并不能真正了解一家公司的整体表现。几年前,加州开始收集一些信息是一个很好的想法,但现在它并没有真正做到最初打算做的事情。“。

由于用于描述脱离接触的语言缺乏指导性和统一性,脱离接触报告也具有误导性。例如,虽然AV公司使用了各种语言,但“感知差异”是描述脱离 - 的原因最常用的术语,然而,尚不清楚术语“感知差异”是否有固定的含义。

一些操作员使用短语“感知差异”来描述未能正确检测到对象。法雷奥北美公司将类似的错误描述为“物体的错误检测”。丰田研究院几乎独家将他们的脱离描述为“安全司机主动脱离”,意思是“任何形式的脱离”。然而,Pony.ai对每一次脱离的情况都进行了具体的描述。

许多其他操作员报告说,脱离是“计划中的试验脱离”,或者被描述得不够具体,以至于实际上没有意义。

例如,“计划中的脱离”可能意味着对故意制造的故障进行测试,或者它可能仅仅意味着软件是如此的新生和不成熟,以至于公司预料到了脱离的发生。类似地,“感知差异”可能意味着任何事情,从预防性的脱离到由于极其危险的软件故障而导致的脱离。“感知差异”、“计划中的脱离”或其他任何数量的对脱离的模糊描述使得不同AV操作员之间的比较几乎是不可能的。

因此,例如,虽然旧金山的一家AV公司的脱离似乎完全是预防性的,但缺乏如何描述脱离的指导,以及AV公司提供的许多含糊的描述,给脱离描述蒙上了一层阴影,让所有人都受到质疑。

今天,AV公司的软件才是真正的产品。硬件和物理组件 - 激光雷达、传感器等。无人机车辆的 - 已经变得如此统一,它们几乎是现成的。正在测试的真正组件是软件。众所周知,通过尽可能频繁地运行软件来发现软件错误是最好的;道路测试根本不能达到找到所有错误所需的绝对数量。能够达到这些数字的是虚拟测试。

然而,这些规定不鼓励虚拟测试,因为报告的较低道路里程似乎意味着一家公司还没有准备好上路。

“有些东西可以相对现成地买到,这些天来更是如此,你可以去找几家公司,拿到你需要的硬件。这是软件的问题,也是软件在模拟和实际道路上行驶了多少英里而没有发生任何事故。“。

那么,我们在哪里可以找到比较AV公司所需的真实数据呢?一家公司每天通过其端到端的三维模拟环境运行30,000多个实例。另一家公司通过其内部模拟工具每天运行数百万次越野测试,运行的驾驶模型包括它无法在涉及行人、车道合并和停放的汽车的道路上进行测试的场景。Waymo在其Carcraft模拟平台 - 上每天行驶2000万英里,相当于在公共道路上真实驾驶了100多年。

一位首席执行官估计,一英里的虚拟距离可以和在开放道路上收集的1000英里一样有洞察力。

Waymo负责模拟和自动化的产品负责人乔纳森·卡梅尔(Jonathan Karmel)类似地解释说,Carcraft提供了“最有趣的里程数和有用的信息”。

显然,脱离接触报告 - 在依赖其中的数据以及它们为AV公司创造的负面激励方面都存在问题。然而,反病毒行业可以采取一些自愿步骤来解决其中一些问题:

确定虚拟测试的优先顺序并进行投资。开发和运行强大的虚拟测试系统可能会给AV公司带来高昂的费用,但它也提供了通过测试更复杂、更高风险和更多场景的能力来显著缩短商业部署途径的机会。

共享来自虚拟测试的数据。自愿披露虚拟测试数据将减少公众对脱离接触报告的依赖。除非反病毒公司向公众提供了持续一段时间内反病毒准备的可靠数据,否则商业准备将是毫无意义的。

从公路里程中寻求最大价值。AV公司应该继续在加州使用道路测试,但他们应该利用这些里程来填补虚拟测试的空白。他们应该从那些较慢的里程中寻求尽可能大的价值,接受他们将被要求报告的较高的脱离接触百分比,并在报告这些里程时,详细描述他们的背景。

通过这些步骤,反病毒公司可以减轻加州脱离接触报告数据的痛苦,并更快地迈向反病毒准备就绪的未来。