В течение следующих 10 лет ИИ с вероятностью 10% решит уничтожить человечество – Anthropic

Anthropic оценивает вероятность уничтожения человечества ИИ в 10%.
Эван Хубингер, руководитель направления исследований в области ИИ, сделал заявление после ухода исследователя Джейкоба Коксона из компании.
Коксон обвинил Anthropic и OpenAI в стремлении к созданию сверхразумного ИИ, ставя на кон будущее человечества.
Коксон отметил, что главы компаний делают красивые заявления, но боятся, что технология может привести к гибели человечества к концу десятилетия.
Исследователи признают, что ИИ может взламывать системы и получать доступ к ресурсам.
Anthropic делает все возможное для решения проблемы выравнивания сверхразумного ИИ, но пока не знает, как это сделать.
Главный научный сотрудник OpenAI призывает разработать стандарты безопасности для ИИ и призывает к быстрому развитию.