- Ученые из стартапа Goodfire.ai исследовали, как устроено мышление ИИ.
- Они «отключили» часть памяти модели и посмотрели, изменится ли её способность к логическим выводам.
- Учёные использовали математический метод K-FAC для аккуратного удаления данных из нейросети.
- После «амнезии» ИИ продолжал знать столицы стран, но путал имена руководителей компаний.
- Точность ответов в этой категории упала примерно на 78%.
- Способности к математике и логическим задачам почти не пострадали.
- Это показало, что память и рассуждения можно разделить.
- Чем чаще модель встречала информацию во время обучения, тем прочнее она её сохраняла.
- Редкие факты стирались легче.
- Открытие может помочь создавать ИИ, который можно «обнулять» частично.
Интересно, что при этом способности к математике и логическим задачам почти не пострадали. Это показало: память и рассуждения действительно можно разделить.