OpenAI притормозила Astra: модель приблизилась к опасной границе для кибератак

С Astra произошла довольно показательная вещь. Речь идет не о найденной ошибке и не о неудачном тесте. Напротив, причиной ограничений стали слишком высокие результаты внутренних проверок в программировании и задачах кибербезопасности.
OpenAI пока не утверждает, что Astra точно достигла уровня Critical. Компания говорит осторожнее: исключить это по результатам последних оценок уже нельзя. В Preparedness Framework этот порог заметно жестче уровня High, который применялся к предыдущим моделям. Для Critical недостаточно защитить публичный доступ. Риски должны быть снижены еще во время разработки.
Граница описана довольно конкретно. Речь идет, среди прочего, о способности автономно находить и создавать рабочие эксплойты для неизвестных уязвимостей в хорошо защищенных реальных системах либо самостоятельно строить и проводить сложные цепочки атак.
Поэтому формулировка «OpenAI остановила Astra, потому что она слишком опасна» пока была бы сильнее имеющихся фактов. Приостановлена часть внутренних работ, не соответствующих усиленным требованиям безопасности, а сама оценка Critical еще не подтверждена окончательно. Срок выпуска Astra также официально не назван.
Существеннее другое: для новых моделей барьером перед выпуском становится уже не качество ответов, а возможность автономно проводить действия, которые прежде требовали квалифицированной команды специалистов.