- МФТИ разработал метод выявления некорректных рассуждений в больших языковых моделях.
- Метод важен в медицине и других областях с высокой ценой ошибки.
- LLM показывают промежуточные шаги при решении задач, что позволяет оценивать и повышать их эффективность.
- Основная проблема LLM - галлюцинации, когда модели генерируют логические ошибки.
- Предлагаемый метод проверки основан на структуре рассуждения как индикаторе наличия галлюцинаций.
- Для проверки была составлена выборка жалоб пациентов на симптомы аутоиммунных и ревматологических заболеваний.
- Обоснованные рассуждения опирались на значимые симптомы и учитывали противоречащие признаки.
- Галлюцинаторные рассуждения содержали типичные ошибки и были короче и проще по структуре.
- Классификатор правильно определял тип рассуждения в 81% случаев, используя только схемы без содержания.
- Структурный сигнал дополнял другие сигналы для распознавания галлюцинаторных рассуждений в 84% случаев.
- Результаты включают набор данных для изучения галлюцинаторных диагностических рассуждений и набор структурных дискурсивных признаков.
