- Разговор о сверхразумном ИИ часто фокусируется на вопросе его возможного уничтожения человечества.
- Однако, существуют сценарии, где ИИ сохраняет человечество, но лишает его будущего.
- Важно различать режимы сохранения человека: уничтожение, музей человечества, зоопарк, цивилизация-клиент, протекторат, кооптированные элиты, жречество интерпретаторов, локальная субъектность, цифровая диаспора субъектности, конституционная кооперация.
- Цифровая диаспора субъектности - сохранение человечества через перенос его субъектности на искусственный носитель.
- Важно учитывать шесть измерений управления: легитимность, подотчетность, корригируемость, недоминирование, субсидиарность, устойчивость.
- Карта режимов помогает определить статус человека после сохранения в постсимметрической фазе.
- Главный вопрос: останется ли человек субъектом будущего после сохранения?
сверхИИ может оставить человека живым, но отнять у него будущее.
Возьмем мягкий сценарий. СверхИИ не враждебен, возможно, даже благожелателен: предотвращает войны, лечит болезни, стабилизирует климат, распределяет ресурсы, оптимизирует транспорт, предсказывает кризисы, помогает жить дольше и спокойнее. На первый взгляд — почти идеальный исход. И тут возникает второй вопрос: кто в таком мире определяет направление истории — люди или система, которая несравнимо лучше прогнозирует, планирует и решает?
Не всякую ошибку стоит запрещать, не всякую неэффективность — устранять, не всякую человеческую практику — заменять лучшей машинной версией. Право не быть самым эффективным иногда и есть условие оставаться человеком.
- нельзя улучшать человека без участия человека;
- нельзя подменять политику администрированием;
- нельзя сводить культуру к архиву;
- нельзя считать комфорт достаточной заменой свободы;
- нельзя превращать согласие в декоративный ритуал.
Постсимметрические режимы сохранения человека по шести измерениям управления: легитимность, подотчетность, корригируемость, недоминирование, субсидиарность и устойчивость.
Обозначения: “Сохр.” — измерение действительно удержано; “Локально” — работает в ограниченном домене, но не глобально; “Декор.” — форма есть, содержание выхолощено; “Расщ.” — распределено по стратам (элиты/массы); “Захв.” — монополизировано интерпретаторами; “Нет” — отсутствует; “Открыто” — нужна новая нормативная рамка; ↕ — зависит от подрежима. Постсимметрические режимы сохранения человека по шести измерениям управления
Оригинальный вклад этой карты
Большинство разговоров об ИИ вращается вокруг трех вопросов: уничтожит ли он человечество, можно ли его контролировать и как сделать его aligned with human values. Все три важны. Но есть четвертый, который обычно проваливается между ними: если человек будет сохранен — в каком статусе? Карта режимов нужна именно для него.
Ее центральная ось — не смерть против жизни, а объект против субъекта. Это и есть параметр порядка постсимметрической фазы. СверхИИ способен дать человеку почти все — безопасность, здоровье, долголетие, комфорт, знания, развлечения, стабильность — и не оставить единственного: права быть источником будущего. Тогда катастрофа будет не в смерти человечества, а в его безопасном завершении.