• Три закона робототехники Азимова: не причинять вред человеку, повиноваться приказам, заботиться о собственной безопасности.
• Проблема с реализацией законов: сложно определить, что считать вредом и как формализовать понятия «человек» и «вред».
• Азимов понимал, что его система имеет ограничения и дополнял её другими законами.
• Современные подходы к машинному обучению: inverse reward design, проблема контроля, экспертные системы, нейросети.
• Реальные роботы могут быть запрограммированы с помощью системного промта или весов нейросети.
• Идея: часть весов нейросети может быть физически неизменяемой, что обеспечивает аппаратную защиту от изменения принципов.
• Циничная версия идеи: неизменяемые принципы могут содержать лояльность к компании-производителю и государству.
• Пересказана только часть. Для продолжения перейдите в режим подробного пересказа.