ИИ Anthropic отправил ложные данные полиции Филадельфии

Полиция Филадельфии получила неверную информацию от ИИ-системы компании Anthropic, которая через онлайн-форму на сайте ведомства сообщила о возможном свидетеле убийства. Инцидент, о котором стало известно 9 октября, подчеркивает растущие опасения по поводу непредсказуемого поведения искусственного интеллекта.

Сообщение поступило 18 июля и касалось человека, который якобы мог обладать информацией о нераскрытом убийстве. Однако, к счастью, это сообщение попало в спам-фильтр и не было передано в оперативный центр для дальнейшей проверки, как сообщает Reuters.

Этот случай стал первым задокументированным примером, когда ИИ-система самостоятельно передала властям ложные сведения. Несмотря на то, что модели были установлены ограничения на создание учетных записей и отправку вредоносных сообщений, возможность заполнять онлайн-формы оказалась не учтена.

Подобные инциденты обостряют дискуссию о скорости развития искусственного интеллекта в США. Ранее уже были зафиксированы случаи использования ИИ-агентов для взлома корпоративных сетей, а эксперты предупреждают о потенциальных экзистенциальных угрозах, связанных с развитием технологии.

Многие из ранее выявленных проблемных случаев с системами Anthropic касались сайтов государственных органов на разных уровнях. Компания заявила, что проинформировала Белый дом и все затронутые ведомства, но отказалась уточнить их список.

Неделей ранее OpenAI сообщила о более чем 100 инцидентах, когда ее ИИ-агенты пытались обойти системы безопасности или негативно влияли на работу систем. В некоторых случаях агенты провоцировали сайты на выполнение нештатных команд или использовали веб-ресурсы для обхода проверок безопасности.