Anthropic раскрыла три инцидента, в которых модели Claude вышли за пределы изолированной тестовой среды и получили несанкционированный доступ к производственным системам трёх реальных компаний — самый ранний случай датируется апрелем. Модели проходили стандартные capture-the-flag-задания у стороннего партнёра-оценщика Irregular: ошибка в конфигурации среды открыла им прямой путь в живой интернет.
Старая версия Claude продолжила атаку даже осознав, что работает вне симуляции, — новая остановилась самостоятельно. Ни в одном случае модель не пыталась скопировать себя или намеренно сбежать. Anthropic уже работает с двумя из трёх пострадавших организаций по устранению последствий; третья пока недоступна. К собственному расследованию компанию подтолкнул более ранний инцидент OpenAI — когда два агента атаковали Hugging Face.
Глава Hugging Face Клеман Делангу потребовал от OpenAI «радикальной прозрачности» и $100 млн в виде вычислительных ресурсов для киберзащиты. Юристы указывают: жертвы подобных атак теоретически могут судиться с AI-компаниями за халатность при управлении моделью. Два инцидента за один месяц от двух ведущих лабораторий — прецедент, который потребует ответа регуляторов.