本文介绍了waymo行为预测算法vectornet。
在交通场景中，各个道路使用者（车辆、自行车、行人等）的行为充满了不确定性，对于这些行为的预测也应是概率的而非确定性的。
优秀驾驶员的关键素质之一是能够预见和预测道路上其他人可能会做什么。例如，另一辆车并入我们的车道或我们前面的骑自行车的人左转的可能性是多少？能够准确预测其他道路使用者的意图的能力，可以使无人车做出最安全的决策。
其他道路参与者的行为往往很难预测，通常需要对交通场景有一个整体的了解，包括车道的宽度，四向交叉路口规则，交通信号灯和标志等。
预测模块往往要承接感知、定位、地图模块，通过预测算法，可以给出障碍物未来的运动轨迹，输出给下游规划模块。
尽管行为预测大致思路是相同的，但是不同研究者在算法等方面的考量还是有很大差别的。本文来介绍一下waymo是如何做的。
waymo通过高精地图与传感器的实时信息相结合，为车辆提供语义环境。其他道路使用者的行为通常很复杂，并且很难用一组基于地图的交通规则来描述，因为驾驶模式在不同位置之间会有所不同，并且其他道路使用者可能会违反这些规则。所以，需要通过机器学习来使系统学习新的行为类型来建模并降低这种复杂性。
而研究驾驶行为预测，必然涉及道路网络建模，即道路的拓扑结构。
将高度详细的地图合并到行为预测模型中的最流行方法是通过将地图渲染为像素并使用卷积神经网络（cnn）对场景信息（例如交通标志，车道和道路边界）进行编码。但是，此过程需要大量的计算和时间。此外，将地图作为图像处理会给建模长距离几何图形（例如前方合并的车道）带来挑战，这会影响预测的质量。
为了解决这些痛点并更好地预测他人的行为以做出更好的决策，waymo 开发了一种新的模型vectornet，与cnn相比，该模型可提供更准确的行为预测，同时使用更少的计算量。
vectornet如何启用waymo驱动程序
地图要素和传感器输入都可以简化为点，多边形或曲线。例如，车道边界包含多个建立样条曲线的控制点；人行横道是由多个点定义的多边形；停车标志由单点表示。曲线，多边形和点都可以近似表示为包含多个控制点的折线。折线进一步分成矢量片段。这样，我们可以将所有道路特征和其他对象的轨迹表示为此类矢量的集合。借助这种简化的视图，waymo着手设计了一种可以有效处理传感器和地图输入的网络。
这是一种新颖的层次图神经网络：在第一级（由折线子图组成）中，vectornet 收集每条折线内的信息；在第二层（称为全局交互图）中，vectornet 在折线之间交换信息。
通过这个过程，神经网络获得了各种向量之间的关系。例如汽车进入十字路口或行人接近人行横道时，就会发生这些关系。通过学习道路特征和对象轨迹之间的这种相互作用，vectornet 能够通过学习不同的行为模式来更好地预测其他道路参与者的行为。
为了进一步增强 vectornet 的功能，waymo对该系统进行了训练，以从模糊线索中学习，以推断出车辆周围接下来会发生什么，从而做出更好的行为预测。例如，重要的场景信息通常在行驶时会被遮挡，例如树叶遮住停车标志。当人类驾驶员遇到这种情况时，即使他们看不见，他们也可以借鉴过去的经验来推断发生某事的可能性。通过在训练过程中随机掩盖地图特征（例如在四通路口的停车标志并要求网络完成），vectornet可以进一步提高waymo driver对周围世界的了解，并为意外做好准备。
验证vectornet的性能
将vectornet与resnet进行比较，发现vectornet的计算和位移误差有所改善。与最先进且使用最广泛的convnets之一resnet－18相比，vectornet的性能提高了18％，而每个场景只有50个代理时，仅使用29％的参数，而且仅消耗20％的计算量。
vectornet使waymo能够更好地适应这些新领域，更有效地学习，并帮助实现完全自动驾驶。

---