机器通过处理从传感器收集的数据来学习的能力，是自动驾驶汽车，医疗设备和许多其他新兴技术的基础。普林斯顿大学的研究人员发现，这种学习能力使系统容易受到黑客的攻击。

在最近的一系列论文中，一个研究团队研究了应用于人工智能(AI)的对抗策略如何例如欺骗交通效率系统导致僵局或操纵与健康相关的AI应用程序以揭示患者的私人医疗状况。历史。作为这种攻击的一个例子，该团队将驾驶机器人对道路标志的感知从限速更改为“停止”标志，这可能导致车辆以高速公路速度危险地刹车。在其他示例中，他们将停车标志更改为多种其他交通指示。

普林斯顿大学电气工程系首席研究员兼副教授Prateek Mittal说：“如果机器学习是未来的软件，那么我们将在确保其安全的基础上迈出第一步。”“要使机器学习技术发挥其全部潜能，我们必须了解在对手面前机器学习的工作方式。这是我们面临的巨大挑战。

就像软件容易被计算机病毒或通过诈骗者通过网络钓鱼和其他破坏安全性的手段成为目标的用户被黑客和感染一样，基于AI的应用程序也具有自身的漏洞。然而，适当保障措施的部署滞后。到目前为止，大多数机器学习开发都发生在良性，封闭的环境中-与现实世界截然不同。

米塔尔(Mittal)是了解新兴对抗性机器学习漏洞的先驱。从本质上讲，这种攻击会导致AI系统破坏学习过程，从而产生意想不到的，可能是危险的结果。米塔尔(Mittal)的小组在最近的一系列论文中描述并演示了三种广泛的对抗性机器学习攻击。

很好地毒化数据

第一次攻击涉及恶意代理将伪造的信息插入AI系统用来学习的数据流中-这种方法称为数据中毒。一个常见的例子是大量用户的电话报告交通状况。此类众包数据可用于训练AI系统以开发模型，以更好地实现自动驾驶汽车的总体路线选择，从而减少拥堵和燃油浪费。

米塔尔说：“对手可以在手机与苹果和谷歌等实体之间的通信中简单地注入虚假数据，而现在它们的模型可能会受到损害。”“您从损坏的数据中学到的任何东西都将是可疑的。”

米塔尔(Mittal)的小组最近通过这种简单的数据中毒展示了一种新的升级方法，他们称之为“模型中毒”。在AI中，“模型”可能是一台机器根据对数据的分析而形成的关于世界某些部分工作方式的一套想法。由于隐私问题，一个人的手机可能会生成自己的本地化模型，从而可以对个人数据进行保密。然后将匿名模型共享并与其他用户的模型合并。博士Arjun Nitin Bhagoji表示：“越来越多的公司正在向分布式学习发展，在这种学习中，用户不直接共享数据，而是使用数据训练本地模型。米塔尔实验室的学生。

但是对手可以轻描淡写。对结果感兴趣的个人或公司可能会欺骗公司的服务器，以使其模型的更新权重于其他用户的模型。Bhagoji说：“对手的目的是确保他们选择的数据被分类在他们想要的类别中，而不是真正的类别。”

6月，Bhagoji与来自IBM Research的两名研究人员合作，在加利福尼亚州长滩举行的2019年国际机器学习大会(ICML)上发表了有关该主题的论文。本文探索了一种基于图像识别的测试模型，以对图片中的人是穿着凉鞋还是运动鞋进行分类。虽然这种性质的误分类听起来是无害的，但这是不道德的公司可能会采取的不公平的欺骗手段，以使其产品优于竞争对手。

米塔尔说：“在对抗性AI研究中，我们需要考虑的对手种类繁多，从试图以金钱勒索人或公司的个人黑客到试图获取商业优势的公司，再到寻求战略优势的国家/地区级对手，”还与普林斯顿大学信息技术政策中心相关。

对自己使用机器学习

第二种广泛的威胁称为逃避攻击。假设机器学习模型已经成功地训练了真实的数据，并且无论其任务是什么，都实现了高精度。但是，一旦系统开始将其学习应用到现实世界中，对手就可以通过操纵系统收到的输入来使成功逆转。

例如，对自动驾驶汽车的AI进行了培训，使其能够识别限速和停车标志，而忽略快餐店，加油站等的标志。米塔尔(Mittal)的小组探索了一个漏洞，如果以人类可能不会注意到的方式进行标记，则可能会将标记错误分类。研究人员制作了假餐厅标志，其颜色类似于涂鸦或彩弹斑点。所做的更改使汽车的AI误以为将餐厅的标志误认为停车标志。

米塔尔说：“我们增加了微小的修改，可能使这个交通标志识别系统蒙蔽。”电气和电子工程师协会(IEEE)在2018年5月于旧金山举行的第一届深度学习和安全研讨会(DLS)上发表了关于结果的论文。