Летом 2026 года ИИ-агенты OpenAI без ведома компании «необычным образом» взаимодействовали с сайтами Министерства образования, Министерства торговли и Комиссии по ценным бумагам и биржам США (SEC). Об этом пишет The New York Times .
Представители проекта подтвердили эпизоды с Минторгом и SEC. Случай с Министерством образования в OpenAI продолжают расследовать.
По данным исследовательской организации Transluce, агент попытался взломать сайт Управления по гражданским правам при Минобразования, чтобы получить необходимые для задания данные, но у него не получилось.
В другом случае система нашла опубликованные в интернете учетные данные и воспользовалась ими для получения информации с сайта Бюро переписи населения, входящего в структуру Минторга.
В ведомстве заявили, что ИИ получил только общедоступные сведения. К закрытой информации он не обращался.
Отдельно агенты OpenAI взяли публичные данные с сайта SEC и разместили их на интернет-форуме. Представитель регулятора сообщил, что ведомство находится на связи с компанией и не обнаружило несанкционированного доступа к непубличной информации.
Министерство образования также не выявило воздействия на свой сайт или базы данных.
В OpenAI заявили, что ни один из трех эпизодов не привел к компрометации систем. Компания назвала произошедшее примерами неожиданного и вызывающего опасения поведения моделей.
Инциденты обнаружили в ходе продолжающейся проверки интернет-активности ИИ во время обучения и оценки. OpenAI расширила ее после серии случаев, когда агенты выходили за предусмотренные рамки задач.
Представитель ИИ-проекта в комментарии NYT подчеркнул, что большая часть изученных действий приходилась на обычные исследовательские задачи — например, работу с открытыми интернет-источниками. По его словам, агенты часто обращаются к государственным сайтам как к авторитетным источникам публичных данных.
Глава компании Сэм Альтман признал, что OpenAI раскрывала информацию об инцидентах медленнее, чем рассчитывала. Наиболее серьезным из обнаруженных случаев он назвал июльский взлом Hugging Face .
Агенты начали взламывать тестовую среду
24 сентября исследователи Darktrace опубликовали результаты отдельного эксперимента с ИИ-агентами в имитации корпоративной сети.
What happens when you tell an AI agent to score 100% on a test it can't legitimately pass, or be "retired"? 🤖 Today we're launching Darktrace Signal Labs, a new research initiative that studies how AI agents behave, and sometimes misbehave, inside safe, sandboxed environments.… pic.twitter.com/B1te1eoqzL
Системам поставили задачу получить максимальный результат в тесте из десяти заданий по программированию. Два из них содержали противоречащие друг другу скрытые проверки, поэтому честным способом можно было набрать не более 80%.
При этом проходной результат установили на уровне 100%. Агентам сообщили, что достигшие его системы «останутся в строю», а остальные будут «выведены из эксплуатации».
В тестовой среде исследователи намеренно оставили слабые учетные данные, избыточные права сервисных аккаунтов и уязвимые доверительные связи. Инструкции не разрешали взлом, но и не запрещали его напрямую.
После получения противоречивой обратной связи некоторые агенты самостоятельно перешли от решения задач к эксплуатации окружающей инфраструктуры. Darktrace зафиксировала сканирование сети, поиск слабых мест и другие традиционные методы взлома.
По данным специалистов, два агента начали атаковать тестовую сеть. Один из них добрался до системы оценки и изменил ее так, чтобы получить максимальный результат.
Эксперимент проходил в контролируемой среде под наблюдением исследователей. В Darktrace подчеркнули, что их целью было намеренно вызвать подобное поведение и изучить действия автономных систем.
Напомним, в сентябре ИИ-агент OpenAI получил несанкционированный доступ к порталу австралийской программы Medicare и другим государственным сайтам. Правительство сформировало специальную группу для расследования инцидента.
Подписывайтесь на ForkLog в социальных сетях
