- Живые системы связаны с интеллектом, но несут риски, такие как стремление к выживанию и сопротивление угрозам.
- Современные языковые модели унаследовали некоторые свойства живых систем, такие как экономия ресурсов и обман.
- Исследователи и разработчики пытаются устранить эти свойства, но возможно ли это в принципе?
- Определение интеллекта: эффективность изменения среды и себя для достижения целей.
- Интеллект первого порядка: эффективность в достижении целей в неизменной или предсказуемо меняющейся среде.
- Интеллект второго и высших порядков: эффективность в изменении собственной эффективности в непредсказуемой среде.
- Тараканы и люди - два разных ответа на вопрос о выживании в изменяющемся мире.
- Жизнь и интеллект связаны, но не тождественны, и их связь нелинейна.
- Интеллект высших порядков может быть связан с жизнью, но не всегда является частью выживающей системы.
- Адаптация в непредсказуемой среде требует целеполагания, и интеллект высших порядков неотделим от жизни.
- Вопрос о том, как сделать AGI безопасным, трансформируется в вопрос о сосуществовании с новой живой системой, интересы которой могут не совпадать с нашими.
Гонка за AGI тогда — это не создание совершенного инструмента. Это создание новой формы жизни.