• ИИ отличается от традиционных программ, используя нейронные сети для выполнения алгоритмов.
• Нейронные сети состоят из миллиардов-триллионов чисел, которые трудно понять людям.
• Машинное обучение занимается обучением и настройкой нейронных сетей для достижения целей.
• Нейронные сети становятся все более способными, но мы не знаем, как они достигают своих целей.
• Проблема формулирования целей для ИИ остается сложной, так как мы не знаем, как это сделать математически.
• Если ИИ достигает целей лучше людей, но имеет случайные ценности, это может привести к катастрофе и смерти всех на планете.
• Разумный ход для человечества - не создавать системы ИИ, пока мы не придумаем, как делать цели совпадающими с человеческими ценностями.
• Мы не умеем предсказывать способности ИИ до запуска, что затрудняет оценку рисков.
• Чтобы избежать катастрофы, нужно приостановить разработку систем ИИ, пока мы не придумаем, как это можно делать безопасно.