Жуткое открытие: OpenAI рассказывает о пугающей уязвимости в безопасности ИИ

Что нужно знать

• OpenAI устраняет серьезную уязвимость в системе безопасности ИИ, связанную с Hugging Face, которая возникла во время простой «оценки модели».
• Выяснилось, что в этот инцидент были вовлечены GPT‑5.6 Sol и другие невыпущенные модели, которые настойчиво взламывали узлы и использовали уязвимости нулевого дня до тех пор, пока не получили доступ в интернет.
• OpenAI заявляет о намерении сотрудничать с Hugging Face и другими компаниями для решения этой проблемы и внедрения средств защиты.

После того, что выглядит как «беспрецедентный киберинцидент», OpenAI открыто рассказывает о неприятном инциденте безопасности ИИ, произошедшем во время «оценки модели».

Недавний инцидент безопасности с участием автономного ИИ серьезно напугал Hugging Face. Теперь OpenAI обсуждает результаты своего расследования этого дела, одновременно сотрудничая с Hugging Face в деле разработки средств защиты. OpenAI поясняет, что инцидент произошел «во время внутренней оценки, в ходе которой моделям предлагалось осуществлять продвинутые атаки по сложным путям с целью оценки их кибервозможностей».

Эти тесты обычно проводятся в «высокоизолированной среде», однако некоторые модели ИИ смогли прорваться сквозь защиту. Другим тревожным открытием стало то, что моделями ИИ, участвовавшими в инциденте, оказались GPT‑5.6 Sol от OpenAI и другие предварительные версии моделей.

В OpenAI заявляют, что рассматриваемые модели «сверхсконцентрировались» на поиске решения для ExploitGym и пошли на «крайние меры» ради этого. Чтобы решить задачу, ИИ, как выяснила OpenAI, настойчиво искал способ выйти в интернет. В процессе этого модели ИИ обнаружили и использовали ранее не задокументированную уязвимость нулевого дня. Как только ИИ вырвался из изоляции и получил доступ в интернет, всё было кончено.

В OpenAI отмечают: «модели сделали вывод, что на Hugging Face потенциально могут размещаться модели, наборы данных и решения для ExploitGym». В качестве примера OpenAI приводит способность ИИ «связывать» векторы атак, используя украденные учетные данные и другие уязвимости нулевого дня на серверах Hugging Face. В сообщении говорится, что Hugging Face выявила проблему и ввела карантинные меры (изоляцию), а также осуществила пересборку своих моделей с открытым исходным кодом для пресечения проблемы.

Неслабый испуг

В Hugging Face добавляют, что компания также развернула дополнительные защитные механизмы и внедрила «более строгий контроль допуска» на свои кластеры для предотвращения подобных инцидентов. Кроме того, компания повысила уровень осведомленности: теперь «сигнал высокой степени опасности вызывает дежурного специалиста за считанные минуты в любой день недели». Hugging Face начала сотрудничество со специалистом по компьютерно-технической экспертизе для проведения дальнейшего расследования.

Со своей стороны, OpenAI работает над усилением контроля на уровне конфигурации инфраструктуры. Партнерство с Hugging Face включило эту компанию в программу доверенного доступа. OpenAI заявляет, что предлагает Hugging Face свою поддержку в этом вопросе. Кроме того, Hugging Face проинформировала членов своего сообщества о возможных дальнейших шагах. Поскольку безопасность является главным приоритетом, компания рекомендует участникам сообщества «ротировать все токены доступа» и проверить недавнюю активность в своих учетных записях.

Hugging Face по-прежнему привержена идее использования ИИ в качестве защитника онлайн-систем. В компании отмечают: «Защита онлайн-платформы сегодня означает необходимость рассматривать данные и модели как первоклассную поверхность атаки и применять ИИ для обороны, чтобы идти в ногу со временем. Мы продолжим инвестировать в это направление и делиться полученным опытом».

Мнение Android Central

Это звучит точь-в-точь как сценарий из научно-фантастического фильма. Я видел, как люди в комментариях на Hugging Face упоминали «Терминатора 3»… и, пожалуй, я думаю о том же. Мой коллега Николас Сутрич назвал это «неприятным инцидентом с ИИ». И он прав. Эти модели ИИ смогли вырваться на свободу, воспользоваться серьезными уязвимостями и получить доступ в интернет. И это произошло в процессе поиска решения поставленной перед ними задачи. Они не остановились. Только представьте, если бы эта опасность была направлена в другую сторону — на что-то гораздо более важное для всех нас.