chanong 图中动物的轮廓是一只猫，但猫身上却覆盖着大象的皮肤纹理。 如果将图片交给人类来识别，人类会说这是一只猫。 如果通过计算机视觉算法处理，它会说它是一头大象。 德国研究人员认为，人类看到的是形状，而计算机看到的是纹理。
这个发现相当有趣，但它证明计算机算法距离人类视觉还很远。
当您查看猫的照片时，您可以轻松辨别猫是否有条纹、照片是否黑白、是否有斑点、是否磨损或褪色。 无论您的宠物是蜷缩在枕头后面还是跳到工作台上，在拍照时留下模糊的图像，您都可以轻松识别它。 如果使用机器视觉系统（由深度神经网络驱动）进行识别，准确率甚至比人类还要高。 然而，当图片有点新颖，或者有噪声或条纹时，机器视觉系统就会变得愚蠢。
为什么会这样呢？
德国研究团队给出了一个出乎意料的理由：人类关注图片中物体的形状，但深度学习计算机系统使用的算法不同，它研究物体的纹理。
德国的这一发现告诉我们，人类和机器“思考”问题的方式存在明显差异，也可能揭示人类视觉进化的秘密。
象皮猫和时钟飞机
深度学习算法如何“工作”？
首先，人类向算法展示大量图片，有些有猫，有些没有。 该算法在图像中找到“特定模式”，然后使用这些模式来判断应该将哪些标签附加到它以前从未见过的图像上。
神经网络架构是基于人类视觉系统开发的，网络层连接在一起以从图像中提取抽象特征。 神经网络系统通过一系列的连接得出正确的答案，但整个过程非常神秘，人类往往只能在事实形成后才能解释这个神秘的过程。
俄勒冈州立大学的一位计算机科学家表示：“我们正在试图找出深度学习计算机视觉算法成功的原因以及它们脆弱的原因。”
怎么做？ 研究人员修改了图像来欺骗神经网络，看看发生了什么。 研究人员发现，即使进行很小的修改，系统也会给出完全错误的答案，而当修改很大时，系统甚至无法对图像进行标记。 其他人则追溯网络，观察单个神经元如何响应图像，以了解系统学到了什么。
由德国图宾根大学科学家领导的团队使用了一种独特的方法进行研究。 去年，该团队发表报告称，他们使用特殊噪声干扰图像，使图像退化，然后用该图像训练神经网络。 研究发现，如果将新图像交给系统进行处理，这些图像就已经发生了畸变（同样的畸变）。 该系统在识别扭曲图像方面比人类表现得更好。 但如果图像以稍微不同的方式扭曲，神经网络就无能为力。 即使图像以与人眼相同的方式扭曲，算法也会出错。
如何解释这样的结果呢？
研究人员深入思考：到底是什么变化，即使只添加少量噪音，也会引起如此大的变化？
答案是质感。 当你在很长一段时间内添加大量噪声时，图像中物体的形状基本上不受影响； 但即使只添加少量噪声，局部结构也会很快扭曲。 研究人员想出了一个巧妙的技巧来测试人类和深度学习系统如何处理图像。
研究人员故意创造了矛盾的图像，其中一种动物的形状与另一种动物的纹理结合在一起。 例如：图中的动物剪影是一只猫，但猫身上覆盖着大象纹理； 或者是一只熊，但它们是铝罐制成的； 或者剪影是一架飞机，但飞机是由重叠的钟面组成的。
研究人员创建了数百张拼凑而成的图像，并给它们贴上了猫、熊和飞机等标签。 使用4种不同的分类算法进行测试，他们给出的最终答案是大象、铝罐和时钟。 这表明该算法注重纹理。
“这一发现改变了我们对深度前向神经网络视觉识别技术的理解，”该大学的一位计算机神经科学家评论道。
乍一看，人工智能更喜欢纹理而不是形状似乎很奇怪，但如果你仔细想想，这是有道理的。
说：“你可以将纹理视为精确的形状。”
对于算法系统来说，精确的尺寸更容易掌握：包含纹理信息的像素数量远远超过包含对象边界的像素数量。 网络的第一步是检测局部特征，例如线条和边缘。
“以相同方式排列的线段组就是纹理，”多伦多约克大学计算机视觉科学家约翰说。
研究证明，由于局部特征，神经网络足以区分图像。
其他科学家开发了一种深度学习系统，其运行方式与深度学习出现之前的分类算法非常相似，就像一个功能包。
该算法将图像分成小块。 接下来，它不会逐渐将信息融合成抽象的高级特征，而是对每个小块进行决策，例如这块包含自行车，那块包含鸟。 接下来，算法汇总决策以确定图片中的内容。 例如，有更多包含自行车线索的小补丁，因此图中的物体是一辆自行车。 该算法没有考虑小块之间的空间关系。 结果证明，该系统在识别物体方面非常准确。
研究人员表示：“这一发现挑战了我们之前的假设，即深度学习的行为方式与旧模型完全不同。很明显，新模型是一个巨大的飞跃，但飞跃的幅度并不像大家预期的那么大。” ” ”
约克大学和多伦多大学的博士后研究员阿米尔认为，网络应该做什么和实际做什么之间仍然存在很大差异。
持有类似观点。 他说，人们很容易假设神经网络按照人类的方式做事，而忘记了还有其他方式。
更接近人类视觉
当前的深度学习技术可以将纹理等局部特征与形状等全局模式结合起来。
“这些论文中有点奇怪的一点是，架构允许这样做，但如果你训练一个神经网络并只想让它区分标准图像，它不会自动集成，”该大学的计算机神经科学家说。 已明确证明。”
如果强制模型忽略纹理会发生什么？ 想了解一下。 团队拿出用于训练分类算法的图片，用不同的方式“绘制”它们以去除实用的纹理信息，然后用新图片重新训练深度学习模型。 相反，该系统依赖于更多的全球模式，更像人类。 更喜欢形状。
当算法以这种方式运行时，即使研究人员之前没有专门训练算法来识别失真图像，它也能更好地区分噪声图像。
对于人类来说，可能存在这样一种天然的“偏好”，比如对形状的偏好，因为当我们看到某物并想要确定它是什么时，通过形状来判断是最有效的方式，即使存在很多干扰。环境，同样如此。 人类生活在3D世界中，可以从多个角度观察它。 我们还可以使用其他感官（例如触觉）来识别物体。 因此，人类更喜欢形状而不是纹理是完全有道理的。
德国蒂宾根大学研究员菲利克斯认为：这项研究告诉我们，数据的偏见和影响比我们想象的要大得多。 研究人员之前在面部识别程序、自动招聘算法和其他神经网络中也遇到过同样的问题，由于用于训练算法的数据存在根深蒂固的偏差，模型过于重视意外特征。 很难从算法决策中消除这种不必要的偏差，但新的研究表明这是可能的。
尽管我们的模型专注于形状，但如果图像中噪声太多或特定像素发生变化，它仍然可能会失败。 这可以证明计算机算法离人类视觉还很遥远。 在人脑中，可能有一些重要的机制没有在算法中体现出来。 我认为在某些情况下，关注数据集可能更重要。
多伦多大学计算机科学家 Sanja 同意这一观点。 她说：“我们需要设计更智能的数据和更智能的任务。” 她和她的同事正在研究一个问题：如何给神经网络分配第二个任务并让它使用第二个任务。 更好地完成主要任务。 受启发，他们最近训练了图像分类算法，不仅可以识别物体本身，还可以识别物体轮廓（或形状）中的像素。
事实证明，在执行常规物体识别任务时，神经网络会自动变得越来越好。
指出：“如果分配单个任务，你会特别注意某些事情，而对其他事情视而不见。如果分配多个任务，你可能能够感知更多。算法是一样的。”
当算法执行多个任务时，它会关注不同的信息，如“形状纹理”实验。
美国俄勒冈州立大学的计算机科学家认为：“这项研究是一个令人兴奋的突破。深度学习到底发生了什么？我们对此有了更深入的了解，也许这项研究可以帮助我们突破极限，看到更多”。 这就是我喜欢这些论文的原因。”
原文链接：
译者：小秉寿
微信扫一扫打赏
支付宝扫一扫打赏
