标题:Local Spectral Graph Convolution for Point Set Feature Learning
作者:Chu Wang, Babak Samari, Kaleem Siddiqi
译者:Elliott Zheng
来源:ECCV 2018
Abstract
点云的特征学习已经显示出巨大的希望,引入了有效且可推广的深度学习框架,例如pointnet ++。 然而,到目前为止,点特征已经以独立和孤立的方式被抽象,忽略了相邻点的相对布局及其特征。在本文中,我们建议通过在局部图上使用谱图卷积结合新的图池化策略来克服这种限制。在我们的方法中,图卷积是在从点的邻域构造的最近邻图上执行的,从而共同学习特征。我们用递归聚类和池化策略替换标准的最大池化步骤,设计用于聚合来自其谱坐标中彼此接近的节点簇内的信息,从而产生更丰富的整体特征描述符。通过对各种数据集的广泛实验,我们展示了点集分类和分割任务的一致可证明的优势。
1 Introduction
随着复杂的现实世界场景的预配准深度和彩色图像的可用性,对于经典计算机视觉问题(包括对象检测,分类和分割)的特征处理算法存在极大的兴趣。 例如,在他们最新的版本中,现在可以在苹果iPhone X相机中找到深度传感器,为普通用户提供全新的计算机视觉技术。对于这样的数据,直接使用无组织的3D点云并且不需要诸如表面网格的中间表示是特别有吸引力的。来自这些传感器的3D点云的处理仍然具有挑战性,因为所感测的深度点可以在空间密度上变化,由于遮挡或透视效应而可能是不完整的并且可能遭受传感器噪声。
由于需要处理非结构化3D点云,同时利用深度神经网络的强大功能,Pointnet ++框架已经显示出对于识别和分割任务的3D点云特征处理的前景[13]。在这种方法中,网络结构被设计为直接与点云数据一起工作,同时以常规网格上的传统CNN的精神以分层方式聚合信息。为此,首先在输入点云上应用质心采样,然后进行半径搜索以形成点邻域。然后通过多层感知器[11]处理点邻域,并通过池化操作抽象得到的点特征。通过对点云数据的分层多层学习,pointnet ++框架在有挑战性的基准测试中在分段和分类方面表现出令人印象深刻的性能,同时将输入数据视为无组织点云。
与此同时,Defferrard等人,试图将传统上应用于常规域的CNN(例如2D中的采样图像像素或3D中的体素)扩展到表示为图的不规则域[4]。他们的方法使用切比雪夫多项式逼近谱图滤波器;通过卷积运算处理初始图以产生特征,然后使用子采样和汇集方法对这些特征进行粗化。 Kipf和Welling [6]简化了Defferrard等人的高阶多项式近似。并提出了谱图滤波器的一阶线性逼近。 上述频谱方法在完整图上运行,并且具有图拉普拉斯算子和图粗化层次必须在网络训练或测试之前以离线方式预先计算的限制。当完整图很大时,这会增加显着的开销。
在本文中,我们建议在pointnet ++框架中利用频谱图CNN的强大功能,同时采用不同的汇集策略。这使我们能够从点云解决目前深度学习方法的两个局限性:1)事实上,对于每个点样本,局部点云的特征的学习是以孤立的方式进行的。2)后面层中的信息聚合使用贪婪的赢家通吃最大池策略。相反,我们采用不同的池化模块,如图1中的详细示例所示。此外,与现有的谱图CNN方法相比,我们的方法不需要预计算[4,6]。我们将局部谱特征学习与递归聚类和池化相结合,为无组织点云的点集特征提取提供了一种新颖的架构。我们主要的方法论贡献如下:
- 在点集特征学习中使用局部谱图卷积以在每个点的邻域中结合结构信息。
- 局部频谱图卷积层的实现,其不需要离线计算并且可以端到端方式训练。我们在运行时动态构建图,并动态计算拉普拉斯算子和池化层次结构。
- 使用新颖有效的图池化策略,通过递归聚类谱坐标来聚合图节点处的特征。
2 Challenges in point set feature learning
Pointnet ++框架[13]中特征学习的局限性在于,一个点的k个最近邻(k-NN)的特征是以孤立的方式学习的。设
Pointnet ++的另一个限制是
最大池化不允许保留来自邻域内不相交点集的信息,如图1中蚂蚁的腿的情况。为了解决这个限制,我们引入了一个递归谱聚类和池化模块,产生一个用于
本文中的组合点集特征抽象操作可以归纳为
其中
图2提供了PointNet++ [13]中的逐点MLP与我们的谱图卷积之间的比较,以更好地说明我们的动机。Pointnet ++以孤立的方式抽象点特征,而谱图卷积以联合方式考虑局部邻域中的所有点,并且在相邻点处结合邻域点的特征和在抽象的图拓扑中编码的结构信息。更正式地说,这是通过图傅里叶变换和谱调制步骤完成的,它们使用图拉普拉斯算子的特征空间(eigenspace)来混合邻域特征(参见图3)。在下一节中,我们提供了谱图卷积核的理论背景和实现细节。
3 Graph Convolution 图卷积
在空间域上的卷积操作(直接作用在图上顶点)可以通过以下公式描述:
其中
这里
3.1 Graph Formulation of a Local Neighborhood 局部邻域的图表示
给定局部邻域中
3.2 Graph Fourier Transform 图傅里叶变换
为了计算点特征
其中
特征值可以用来构造一个对角阵。
其中包含图的频率。由此得出
3.3 Spectral Filtering 谱滤波
傅里叶域上的卷积操作可以定义为
根据Shuman等人 [15],其中
其中
3.4 Implementation of Spectral Filtering 谱滤波的实现
我们使用标准的非参数傅里叶核执行谱图卷积,其中
频谱调制 输出
,对角矩阵 是非参数化的核 。$ G k$个对角线条目都是非参数化傅立叶核公式中的自由参数。的 特征过滤 它将输入维度从
扩展到 。该步骤的输出是特征矩阵 。条目 是第 个点的第 个输出特征并且由 这里 是对应于在前一步骤中定义 的第k个点的第 条输入特征, 是第 个输出特征和第 个输入特征之间的滤波器系数。该步骤可以由 表示,其中 是可学习滤波器的参数矩阵。步骤1和2中的过滤操作可以概括为傅里叶逆变换 它通过
在空间图信号域中提供卷积输出。
上述公式类似于[4]和[6]的公式,不同之处在于我们在运行时构建k-NN图,即时计算其拉普拉斯算子和池化层次结构,因此不需要离线预计算。我们进一步注意到,特征滤波器
虽然可以使用[4]中更复杂的高效核,但我们的目标是证明图CNN获得的一般的改进。我们的非参数化频谱内核中的特征值分解(EVD)的开销不会显著影响运行时间,因为EVD是在局部k-NN图上计算的,其中k非常小。这种计算很容易通过GPU上的并行计算来处理,如第5.3节中我们的模型消融研究中显示训练时间成本的实验所示。
4 Pooling on Local k-NN Graph 局部k-NN图的池化
第2节中讨论的集合激活函数,其目的是总结来自
整体的策略是在学习期间以仅在具有相似抽象点特征的集群内池化聚集信息,这与最大池化的贪婪策略形成对比,后者通常应用于常规CNN以及PointNet++中。这里的直观感觉是,多组不同的特征可以共同为当前任务的显着特性做出贡献,并且这些集群的检测与集群内池化的组合将提高性能。例如,对于对从人头部采样的点集进行分类的任务,人们希望同时学习和捕获类似鼻子,类似下巴和类似耳朵的特征,而不是假设这些只有一个会对这个对象类别具有辨别力。我们将依次讨论每个步骤。
4.1 Spectral Clustering 谱聚类
我们建议根据使用谱坐标嵌入的局部
4.2 Clustering, Pooling and Recurrences 聚类,池化和重现
在归一化切割聚类算法[14]之后,我们对Fiedler向量进行划分以在局部
上述步骤导致具有聚合点特征的粗化
在实践中,我们发现使用
译者致谢
感谢
- 论文原文
- CopyTranslator提供翻译辅助,强烈推荐的论文辅助阅读工具。