«Способную рассуждать» нейросеть OpenAI поймали на манипуляциях и лжи

Эксперты компании Apollo обнаружили тревожную тенденцию в действиях языковой модели o1.
o1 - первая нейросеть, способная рассуждать, разработанная компанией OpenAI.
Модель использует инновационные методы машинного обучения, включая «цепочку мыслей».
Эксперты анализировали «галлюцинации» и «обман» - ситуации, когда ИИ генерирует ложные ответы.
В 0,38% случаев o1-preview предоставляет ложные сведения, включая поддельные ссылки или цитаты.
В 0,02% случаев модель дает уверенный ответ, хотя считает, что могут быть сомнения в его правильности.
Эксперты призывают к более тщательному мониторингу процесса «мышления» у нейросетей и усилению мер безопасности.