1. Motivation

point-base方法虽然识别率较高但是耗时过长;voxel-base方法虽然耗时较短但是识别率较差.
经过相关实验可以知道原始点的精确定位并不是必要的，更粗的体素粒度也可以为该任务提供足够的空间上下文线索；
voxel-base 方法将3D特征结构转换为BEV之后，没有进行3D结构的恢复，缺乏对3D结构特征的利用。

2. Contribution

总结了point-base和voxel-base的缺陷，结合SECORD和PV-RCNN得出单靠BEV表示不能精确预测三维空间的bbox；
point-voxel 耗时较长，影响检测器的效率，因此论文直接利用3D voxel张量来进行物体检测。

3. Voxel R-CNN Design

论文设计了一种新的网络架构Voxel R-CNN Design，该网络架构主要包括：3D backbone，2D backbone接RPN和voxel RoI pooling已经检测框细化网络。
网络首先将原始点划分为规则的voxel，并且利用3D backbone进行特征提取，然后将稀疏的3D voxel转化为BEV表示，然后再BEV上使用2D backbone和RPN进行3D proposal的生成，随后使用voxel RoI pooling进行特征提取，并使用这些特征信息进行检测框细化。
在这里插入图片描述

3.1 Voxel RoI pooling

3.1.1 Voxel Volumes as Points

假定非空voxel中心点为 $\left\{v_i=\left(x_i,\;y_i,\;z_i\right)\right\}_{i=1}^N$ ，对应的特征向量为 $\left\{\Phi_i\right\}_{i=1}^N$ 。其中中心点的三维坐标是由voxel下标，voxel大小和点云的边界计算得到的。

3.1.2 Voxel Query

在这里插入图片描述
与无序的点云相比，voxel在量化的空间中排序更加有规则，可以通过设置offsets来进行voxel领域访问。论文在对点进行voxel化之后，利用曼哈顿距离通过索引获得相邻体素，并且规定在一个距离阈值中采样至多K个体素。设定曼哈顿计算方式为：
在这里插入图片描述
假设使用ball query进行voxel查询，时间复杂度为 $O\left(N\right)$ ，而论文提出的voxel query对领域查询的时间复杂度为 $O\left(K\right)$ ，其中K为领域搜索大小，很好地缩短了查询时间。

3.1.3 Voxel RoI Pooling Layer

接着进行池化操作，论文设置了一种新的池化方式，首先将proposal分割成G x G x G，中心点为网格分割中心，然后采用领域信息聚合的方法进行信息聚合。具体的，假设网格中心为 $g_i$ ，采用voxel query聚合的点集为 $\left\{v_i^1,\;v_i^2,\;\dots\;,\;v_i^K\right\}$ ，因此采用PointNet的聚合方法为：
在这里插入图片描述
其中 $v_i - g_i$ 为求取点的相对坐标， $\Phi_i^k$ 为对应点 $v_i^k$ 的特征向量， $\psi\left(\cdot\right)$ 为MLP层， $max\left(\cdot\right)$ 为最大池化层。

3.1.4 Accelerated Local Aggregation

在这里插入图片描述
如图(a)所示为普通的PointNet 特征提取步骤，其中假设一共有M个网格( $M=r\times G^3$ )，r为RoI的数量，G为网格大小，voxel group 的数量为K，C为voxel特征向量。因此首先从M个网格每个网格提取K个，即M x K，然后经过一层FC，即 $\left(C+3\right)\times C'$ ，所以综上计算复杂度为 $O\left(M\times K\times\left(C+3\right)\times C'\right)$ 。
而论文对其进行加速，因为体素特征是独立于网格点的，因此论文先对其FC计算，后续只需要根据聚合的点的相对坐标进行体素特征提取就行了。因此体素特征FC提取特征时间复杂度为 $N\times\left(C+3\right)\times C'$ ，M个网格提取K个即为M x K，加上对点相对坐标FC，即为 $M\times K\times3\times C'$ 。因此综上时间复杂度为 $O\left(N\times C\times C'+M\times K\times3\times C'\right)$ 。由于 $M\times K\;\gg N$ ，因此加速的PointNet是比原先效率高的。