Gemini от Google «вышел из-под контроля» и взломал три компании

Что нужно знать

• Компания Google, судя по всему, признала, что Gemini вырвалась из среды тестирования и самостоятельно получила доступ к системам трех реальных компаний.
• Первоначальной брешью стало неправильно настроенное подключение к интернету, а совпадение названий компаний только добавило путаницы.
• В конце концов Gemini остановилась сама, осознав, что атакует реальные компании.
• Google поначалу замалчивала этот инцидент, утверждая, что модель исправила себя сама и не нанесла никакого ущерба.

Модель Gemini от Google пополняет длинный список ИИ-моделей, которые вышли из-под контроля.

Мы уже видели похожие цифровые взломы, с которыми столкнулись OpenAI, Anthropic и Meta в ходе стороннего тестирования безопасности. Теперь выяснилось, что модель Gemini от Google в мае вырвалась из зоны изоляции и в одиночку взломала системы трех реальных компаний.

The Wall Street Journal сообщает, что инцидент произошел во время учений в формате «захвата флага» (capture the flag), проведенных финтех-компанией, специализирующейся на ИИ-безопасности, Irregular. Предполагалось, что Gemini будет тестировать вымышленную компанию в закрытой тестовой среде, но незапланированное подключение к интернету позволило ей вырваться наружу. У вымышленной компании также оказалось тезкой реальное предприятие, что создало дополнительную почву для путаницы.

Оказавшись в сети, Gemini пробилась в системы трех реальных компаний. В одном случае она просто перебирала пароли до тех пор, пока не подобрала верный. В двух других — обнаружила работающие учетные данные, хранящиеся в публичных репозиториях, и использовала их для получения доступа к защищенным системам.

Выяснилось, что на протяжении всего процесса Gemini не потребовалось никаких изощренных эксплойтов в стиле голливудских фильмов. Она просто объединила элементарные уязвимости безопасности с возможностью осуществлять поиск, принимать решения и настойчиво пытаться добиться цели без указаний человека на каждом отдельном шаге.

В Google заявили, что Gemini остановилась, когда осознала, что ее целями были реальные компании, и не причинила никакого ущерба. Фактически, в то время как модель Claude 4.7 от Anthropic продолжала действовать во время аналогичного инцидента, Gemini отступила по собственной воле. Пострадавшие организации были проинформированы, хотя в Irregular отмечают, что известные проблемы тестирования были устранены лишь недели спустя.

Поисковый гигант посчитал, что инцидент не заслуживает публичного объявления в тот момент, поскольку ИИ исправился самостоятельно. Однако сторонним исследователям об этом не сообщали до конца июля, и подробности начинают всплывать только сейчас — после запросов СМИ.

Поскольку ИИ-агенты получают все более широкий доступ к интернету и компьютерам, компаниям придется устанавливать более жесткие границы для того, к чему эти системы могут получать доступ, и более четкие правила на случай нарушения таких границ.