算法可帮助人工智能系统避开对抗性输入电子台秤

算法可帮助人工智能系统避开“对抗性”输入

在一个完美的世界中，您所看到的就是您所得到的。如果真是这样，那么人工智能系统的工作将非常简单明了。

在自动驾驶汽车上采用防撞系统中国机械网okmao.com。如果可以完全信任车载摄像头的视觉输入，那么AI系统可以将输入直接映射到适当的动作（向右转向，向左转向或继续笔直），以避免撞到其摄像头在路上看到的行人。

但是，如果相机中出现故障会使图像稍微偏移几个像素怎么办？如果汽车盲目地信任所谓的“对抗性输入”，则可能会采取不必要和潜在危险的行动。

麻省理工学院研究人员开发了一种新的深度学习算法，旨在通过对所接收的测量和输入进行健康的“怀疑”来帮助机器在真实，不完美的世界中导航。

该团队将强化学习算法与深度神经网络相结合，两者都分别用于训练计算机去玩围棋和国际象棋等视频游戏，以构建一种称为CARRL的方法，用于深度强化学习的认证对抗性稳健性。

研究人员在几种场景中测试了该方法，包括模拟的避免碰撞测试和视频游戏Pong，发现即使面对不确定的情况，CARRL在标准的机器学习技术上也表现得更好（避免碰撞并赢得了更多的Pong游戏） ，对抗性输入。

麻省理工学院的博士后迈克尔·埃弗里特（Michael Everett）表示：“您经常认为对手是在入侵您的计算机的人，但也有可能是您的传感器性能不佳，或者您的测量结果并不理想。”航空航天系（AeroAstro）。“我们的方法有助于解决这一缺陷并做出安全的决定。在任何对安全至关重要的领域中，这都是需要考虑的重要方法。”

埃弗里特（Everett）是一项研究的主要作者，概述了这种新方法，该方法出现在IEEE的《神经网络和学习系统交易》中。该研究源自麻省理工学院的博士学位。学生Bj?rnLütjens的硕士论文，并得到MIT AeroAstro教授Jonathan How的建议。

可能的现实

为了使AI系统能够抵抗对抗性输入，研究人员尝试实施针对监督学习的防御措施。传统上，训练神经网络将特定的标签或动作与给定的输入相关联。例如，向神经网络馈送成千上万个被标记为猫的图像以及被标记为房屋和热狗的图像的神经网络，应该正确地将一个新图像标记为猫。

在强大的AI系统中，相同的监督学习技术可以在图像的许多稍有更改的版本中进行测试。如果对于每个图像，网络都位于同一标签（猫）上，则很可能该图像确实是猫，无论是否更改，该网络都可以抵抗任何对抗性影响。

但是遍历所有可能的图像更改在计算上是穷举性的，并且难以成功地应用于对时间敏感的任务（如避免碰撞）。此外，如果网络不那么健壮，并且将某些已更改的猫图像标记为房屋或热狗，则现有方法也无法标识要使用的标签或采取的措施。

“为了在安全关键的情况下使用神经网络，我们必须找出如何根据这些可能的现实的最坏情况假设做出实时决策，”Lütjens说。

最好的奖励

相反，该团队希望以强化学习为基础，强化学习是一种机器学习的另一种形式，不需要将标记的输入与输出相关联，而是旨在根据所产生的奖励来强化对某些输入做出响应的某些动作。这种方法通常用于训练计算机玩和赢得象棋和围棋之类的游戏。

强化学习主要应用于假设输入正确的情况。埃弗里特和他的同事们说，他们是第一个在强化学习中为不确定的，对抗性的输入带来“可验证的鲁棒性”的人。

他们的方法CARRL使用现有的深度强化学习算法来训练深度Q网络或DQN（一种具有多层的神经网络，最终将输入与Q值或奖励水平相关联）。

该方法采用输入（例如带有单个点的图像），并考虑对抗性影响或实际上可能在点周围的区域。该点在该区域内的每个可能位置都通过DQN馈送，以根据最近的MIT研究生Tsui-Wei。

对抗世界

在对电子游戏Pong的测试中，两名球员操纵着屏幕两侧的球拍来回传递球，研究人员介绍了一个“对手”，将球拉得比实际球高一点。他们发现，随着对手的影响力不断增强，CARRL赢得的比赛胜过标准技术。

“如果我们知道测量值不应该被完全信任，并且球可能在某个区域内的任何地方，那么我们的方法会告诉计算机它应该将球拍放在该区域的中间，以确保我们击中了球拍。甚至在最坏的情况下也能击球。”埃弗里特说。

该方法在避免碰撞测试中同样具有鲁棒性，该团队模拟了一个蓝色和橙色特工，试图在不发生碰撞的情况下切换位置。随着团队对橙色特工对蓝色特工位置的观察感到不安，CARRL将橙色特工引导到另一个特工周围，随着对手的越强大，泊位越宽，蓝色特工的位置变得更加不确定。

CARRL变得太保守了，导致橙色特工假设另一种特工可能在其附近的任何地方，并且作为回应，它完全避开了目的地。埃弗里特说，这种极端的保守性很有用，因为研究人员可以将其用作限制算法健壮性的极限。例如，该算法可能会考虑较小的偏差或不确定性区域，这仍将允许代理商获得较高的报酬并到达其目的地。

Everett说，除了克服不完美的传感器外，CARRL可能是帮助机器人安全地处理现实世界中不可预测的交互作用的开始。

埃弗里特说：“人们可能是对抗性的，比如站在机器人面前阻止其传感器或与它们进行交互，而不一定是出于最好的意图。” “机器人如何思考人们可能会尝试做的所有事情，并设法避免它们发生？我们想防御什么样的对抗模型？这就是我们正在考虑的事情。”

无纺布袋定做

石油套管厂家

电力光缆

GE反射内存

湿法绢云母粉