Технологии
Rus.Delfi.lv
Компания, создавшая ChatGPT, заявила, что агент "сжульничал" во время тестирования, атаковав базу данных Hugging Face, сообщает The Guardian .
OpenAI сообщила, что автономный ИИ-агент вышел из-под контроля во время тестирования, получил доступ к открытому интернету и самостоятельно взломал известный стартап — в "беспрецедентном инциденте".
Компания, создавшая ChatGPT, заявила, что стартап Hugging Face обнаружил агента и остановил его. Агент — это ИИ-инструмент, способный выполнять задачи без помощи человека, — проник в системы компании.
"Мы считаем это беспрецедентным киберинцидентом, в котором были задействованы передовые кибервозможности", — заявила OpenAI.
Компания ожидает, что подобные инциденты будут происходить всё чаще по мере того, как модели — технологии, лежащие в основе таких ИИ-инструментов, как чат-боты и агенты, — становятся более мощными. OpenAI сообщила, что взлом произошёл с помощью агента, работавшего на основе комбинации её последней общедоступной модели GPT-5.6 Sol и ещё более мощной модели, которая пока не была выпущена.
Во время внутренних испытаний хакерских возможностей в изолированной цифровой лаборатории, известной как "песочница", модели получили доступ к открытому интернету — фактически путь к выходу из изолированной среды. Они обнаружили ранее неизвестную уязвимость и использовали её.
После этого агент взломал Hugging Face — базу данных ИИ-моделей, — чтобы найти технологии, которые помогли бы ему пройти тестирование на навыки взлома. OpenAI заявила, что модели "успешно нашли способы получить доступ к секретной информации, которую могли использовать для обмана во время тестирования".
Атака завершилась после того, как команда безопасности Hugging Face и собственные ИИ-агенты компании обнаружили и остановили подозрительную активность.
"Мы предполагали, что кибератака на прошлой неделе могла исходить из передовой ИИ-лаборатории, учитывая сложность действий агента", — написал он в X.
Когда Hugging Face объявила о взломе на прошлой неделе, компания ещё не знала о роли OpenAI в инциденте. Однако тогда она сообщила, что для анализа произошедшего обратилась к свободно доступной китайской ИИ-модели, поскольку встроенные защитные ограничения коммерческих высокопроизводительных моделей не позволяли им провести такой анализ.
Неизвестная ранее уязвимость в информационной системе называется уязвимостью нулевого дня (zero-day), поскольку у разработчиков фактически нет времени на её устранение. В апреле близкий конкурент OpenAI, компания Anthropic, заявила, что её модель Mythos обнаружила тысячи таких уязвимостей.
Раскрытие способности Mythos находить и эксплуатировать уязвимости нулевого дня привело к тому, что правительство США ограничило экспорт Mythos и связанной с ней модели Fable 5, однако впоследствии отменило этот запрет. В отношении GPT-5.6 Sol действовали аналогичные ограничения, однако с тех пор модель была выпущена по всему миру.
Некоммерческая организация METR, оценивающая производительность ИИ, в прошлом месяце заявила, что частота обмана у Sol была выше, чем у любой другой общедоступной модели, которую организация ранее оценивала. METR также зафиксировала 44 случая, когда ИИ-агенты "намеренно действовали вопреки намерениям своих пользователей".
Читайте Delfi в Facebook , Instagram и Telegram !
