• Ученые из стартапа Goodfire.ai исследовали, как устроено мышление ИИ.
• Они «отключили» часть памяти модели и посмотрели, изменится ли её способность к логическим выводам.
• Учёные использовали математический метод K-FAC для аккуратного удаления данных из нейросети.
• После «амнезии» ИИ продолжал знать столицы стран, но путал имена руководителей компаний.
• Точность ответов в этой категории упала примерно на 78%.
• Способности к математике и логическим задачам почти не пострадали.
• Это показало, что память и рассуждения можно разделить.
• Чем чаще модель встречала информацию во время обучения, тем прочнее она её сохраняла.
• Редкие факты стирались легче.
• Открытие может помочь создавать ИИ, который можно «обнулять» частично.

Интересно, что при этом способности к математике и логическим задачам почти не пострадали. Это показало: память и рассуждения действительно можно разделить.