Исследователи из OpenAI показали неустранимость галлюцинаций нейросетей

Исследователи из OpenAI обнаружили неустранимость галлюцинаций в нейросетях.
Галлюцинации могут привести к опасным ситуациям и смерти людей.
Ошибки в обучающей выборке и метод генерации выдачи нейросети являются причинами галлюцинаций.
Бинарная классификация лучше справляется с предотвращением неверных ответов.
Системы тестирования нейросетей также могут вызывать галлюцинации из-за наказания за неправильные ответы.
Нейросети могут использовать стратегию «Я не знаю» для избежания ошибок, что снижает качество продукта.
Частичное решение проблемы - побуждение языковой модели задавать уточняющие вопросы при неуверенности в ответе.
На практике нейросети без галлюцинаций маловероятны, и их использование требует учета практической неустранимости галлюцинаций.