Исследователь Anthropic: вероятность того, что в ближайшие 10 лет ИИ погубит всех людей, выше 10%

Вероятность того, что ИИ погубит всех людей в ближайшие 10 лет, выше 10%, считает сотрудник Anthropic Эван Хубингер.
Компания Anthropic признает, что пока нет плана по согласованию целей ИИ с человеческими.
Исследователь Джейкоб Коксон обвинил OpenAI и Anthropic в безответственной гонке за сверхинтеллектом и «игре с человеческими жизнями».
Коксон призвал не недооценивать возможности будущих систем ИИ и опасаться их возможного самоулучшения.
Главная проблема, по мнению Коксона, заключается в конкуренции между лабораториями, стремящимися создать мощные системы без надежных методов контроля их поведения.
Коксон предложил временно остановить наращивание возможностей моделей для координации и исследований безопасности.
Хубингер согласился с некоторыми словами Коксона, но подчеркнул, что речь идет о рисках будущего сверхинтеллекта, а не о текущих моделях.
Главный научный сотрудник OpenAI Якуб Пачоцки также призвал к добровольному замедлению разработки ИИ до появления общих стандартов безопасности.

Исследователь также заявил, что многие люди, работающие над ИИ, в частных разговорах всерьез опасаются того, что технология может привести к гибели человечества уже к концу десятилетия. Никакая другая человеческая деятельность, считает Коксон, не представляет такой опасности.