结果表明对于不同类别的原始三维网格,在各种光照和角度下都能成功,并且达到接近 100% 的成功率,如图 2 所示。研究者将扰动后的对抗式三维网格放到 Amazon Mechanical Turk 上让人们对其进行分类,99.29+-1.96% 的分类准确率表明这种对抗式三维网格的扰动对于人类影响是很小的。
图 2:通过不同类型的扰动(网格形状,或者网格表面颜色),根据不同的目标类别生成的对抗式三维网格。
然后,研究者用同样的方法尝试去一个物体检测器。他们合成了一个有桌子、椅子的场景并且将一个兔子网格 (Stanford Bunny) 放在桌子上,通过扰动使得检测器对桌子、椅子的检测都失效,如图 4 所示。他们再将一张室外的真实照片作为输入,通过估计光照来将兔子网格「真实地」放到场景中然后再对其进行扰动,并且成功地移除了对于原始真实照片中的「自行车」和「狗」的检测,如图 5 所示。
最后,作者研究了对抗式三维网格的转移能力,因为他们用了一个可导的渲染器,该渲染器做出了很多假设,包括三维物体表面为简单的 Lambertian 模型、方向光源、无阴影、无表面间的遮挡与交互反射。研究者想知道如果使用一个高级的渲染器,比如 Mitsuba,该对抗式三维网格是否仍然能够使得分类器或者物体检测器失效。
作者研究了两种条件下的转移能力:已知渲染参数和未知渲染参数。对于已知渲染参数,直接使用 Mitsuba 替换掉可导渲染器,使用完全相同的渲染参数,并在渲染出来的图片上做有目标和无目标的评估。结果表示出无目标成功相对较高,有目标成功率相对较低。对于未知渲染参数的场景,使用可导渲染器去估计渲染参数,并且使用估计的参数和可导渲染器来生成对抗式三维网格。生成后,将该网格再重新放回 Mitsuba,再评估 Mitsuba 生成的图片是否也可以让机器学习模型预测失败。结果表明这种对抗式三维网格能够转移到不同的渲染器上。这使得我们可以用低成本的渲染器来生成对抗式三维网格来污染高成本的渲染引擎生成的图片。
图 6:在未知渲染参数下估计参数并且将对抗性转移到 Mitsuba 渲染的图片中并且导致分类器分类错误
图 7. 在未知渲染参数下估计参数并且将对抗性迁移到 Mitsuba 渲染的图片中并且导致检测失败(最左椅子)
表 1:在原始数据(p)上对不同模型的准确率,以及 meshAdv 生成的对抗样本的成功率。
表 2:通过迁移 3D 对抗样本(通过一个可微渲染器 NMR 生成)到 Mitsuba 渲染器的无目标成功率。