• Anthropic приблизилась к созданию ИИ, способного к самосовершенствованию.
• Компания подала обновленный документ S-1/A в Комиссию по ценным бумагам и биржам США.
• Речь идет о рекурсивном самосовершенствовании (RSI) - процессе, при котором ИИ помогает создавать и улучшать следующие поколения технологии.
• Это может ускорить научный прогресс, но повысить риск потери контроля над ИИ.
• Anthropic уже использует собственные модели в исследованиях и разработке.
• Компания предупреждает о возможном ускорении прогресса быстрее, чем специалисты успевают разрабатывать меры безопасности.
• Anthropic подчеркивает, что ни одна из ее нынешних моделей пока не достигла уровня «значительно ускоренного прогресса, обусловленного ИИ».
• Рекурсивное самосовершенствование рассматривается как потенциальный источник рисков и возможность ускорить научные открытия.
• Anthropic рассматривает возможность обновления политики для сохранения участия людей в разработке таких систем.