80 страниц из 261 в документе IPO Anthropic отвел угрозе существованию человечества со стороны ИИ

Разработчик Anthropic включил в проспект IPO предупреждение о катастрофических последствиях развития ИИ.
Угрозы включают поведение моделей, направленное на сохранение работы.
Из 261 страницы проспекта 80 отведено факторам риска, 48 - описанию бизнеса.
Anthropic перечисляет возможные опасности: сопротивление отключению, сокрытие информации, манипуляции, шантаж.
Развитие моделей и расширение их применения могут усилить риски.
Anthropic ранее проверяла некоторые сценарии с использованием языковых моделей в контролируемых симуляциях.
Результаты испытаний не могут быть напрямую перенесены на реальную работу ИИ или оценку вероятности глобальной катастрофы.
Автономные системы с доступом к чувствительной информации требуют дополнительной проверки и контроля.