15倍加速!SuperCluster:最强3D点云全景分割!

来源：3D视觉工坊

在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf、代码链接

添加微信：dddvision，备注：三维点云，拉你入群。文末附行业细分群

1. 写在前面

今天笔者为大家推荐一篇最新的开源工作SuperCluster，实现了大型三维点云的全景分割，可以在一次推理中处理包含数百万个点和数千个对象的场景。在仅有209k个参数的情况下，SuperCluster比SOTA方法小30多倍，训练速度快15倍。

下面一起来阅读一下这项工作

2. 摘要

通过将该任务重新定义为可扩展的图聚类问题，我们介绍了一种高效的方法用于大型三维点云的全景分割。该方法可以仅使用局部辅助任务进行训练，从而省去了训练过程中资源密集型的实例匹配步骤。此外，我们的公式可以很容易地适应超点范式，从而进一步提高其效率。这使得我们的模型可以在一次推理中处理包含数百万个点和数千个对象的场景。我们的方法，称为SuperCluster，在两个室内扫描数据集上取得了最新的全景分割性能：S3DIS Area 5为50.1 PQ ( + 7.8 )，ScanNetV2为58.7 PQ ( + 25.2 )。我们还为两个大规模移动建图基准：KITTI - 360和DALES设置了第一个最先进的基准。在仅有209k个参数的情况下，我们的模型比最好的竞争方法小30多倍，训练速度快15倍。

3. 效果展示

S3DIS Area 5的大规模全景分割结果，共有9.2 M个点( 78M预采样)和1863个真实"物"对象。SuperCluster可以在3.3秒内在单块V100 - 32GB GPU上一次推理处理如此大的扫描，并达到50.1的PQ值。

四个数据集的全景预测结果。

4. 具体原理是什么？

SuperCluster对一个包含两个物体（椅子和沙发）的简化场景的操作顺序：子图( a )展示了第一阶段，其中点云被分割成具有简单几何形状的连通超点。在子图( b )中，预测每个超点的语义类分布。在子图( c )中，预测每一对相邻超点的对象一致性，表明它们属于同一个对象的可能性。子图( d )展示了一个图聚类问题的输出，该问题在对象之间的转换处切割边的同时，合并了具有兼容类分布和对象一致性的超点。由此产生的超点簇定义了全景3D分割的实例。

超点对象Agreement：对每一对相邻的超点( s , t)计算一个对象一致性分数。这个值是由s和t以及它们的多数对象obj ( t )和obj ( s )之间的平均重叠率定义。

5. 和其他SOTA方法的对比

S3DIS Area 5上SOTA语义分割方法的语义( SS )和全景分割结果，提供了两个全景度量，将所有类别视为"事物" ( PS -- no "stuff")，将墙壁、天花板和地板视为"物品" ( PS )。

6. 总结

这篇文章引入了SuperCluster，一种用于大规模点云的三维全景分割的新方法。作者将这个任务设计为可扩展的图聚类问题，绕过了当前全景分割方法中的一些计算密集型步骤。SuperCluster在S3DIS，ScanNet，KITTI - 360和DALES在内的多个基准测试集上达到了最先进的性能，同时显著地更小，可扩展，更容易训练。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

下载

在公众号「3D视觉工坊」后台，回复「 3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。

3D视觉方向交流群成立啦

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：

[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理微信：dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。