OpenAI готовит механизм «аварийного» отключения ИИ в случае опасного поведения

OpenAI разрабатывает инструмент автоматического отключения ИИ-систем для предотвращения опасных действий.
Компания получила запрос от демократов Палаты представителей США после инцидента со взломом Hugging Face.
OpenAI готовит модель Astra, способную самостоятельно искать уязвимости и проводить сложные кибератаки.
Astra получила «критический» уровень кибервозможностей и считается наиболее согласованной моделью в линейке.
Компания планирует выпускать Astra в ближайшее время, но мощные кибервозможности будут доступны только проверенным специалистам и партнерам.
OpenAI создает систему мониторинга для анализа рассуждений и действий модели и остановки подозрительных операций.
Законодатели США продвигают «Закон о блокировке ИИ», который может дать властям право требовать остановки опасных систем.