Это заметка о новом способе оценки медицинского ИИ, который учитывает разногласия между врачами. Работа выполнена Центром ИИ МГУ совместно с AIRI и НМИЦ им. В. А. Алмазова, опубликована в Scientific Reports в 2026 году.
Проблема Оценивать диагностические системы ИИ сложно по двум причинам:
По одному описанию симптомов врачи могут предлагать разные диагнозы. Если принять мнение одного специалиста за единственно верное, результат проверки ИИ будет зависеть от того, кого выбрали эталоном.
Разные формулировки. Одинаковые по смыслу диагнозы могут быть записаны разными словами, и формальное сравнение это не учтёт.
Что предложили Авторы разработали два относительных показателя. Они сопоставляют согласованность ответов модели и врачей с согласованностью врачебных заключений между собой — то есть оценивают ИИ не по одному «правильному» ответу, а на фоне того, насколько сами эксперты согласны друг с другом.
Отдельный алгоритм определяет, какие формулировки диагнозов считать совпадающими. Он объединяет:
оценки языковых моделей,
сведения из Международной классификации болезней,
признаки текстового сходства.
Эксперимент 360 русскоязычных диалогов, моделирующих сбор сведений о пациенте.
Половину разговоров разыгрывали медицинские специалисты, вторую половину — актёры в роли пациентов с языковой моделью.
Каждый диалог независимо оценивали семь врачей-ординаторов.
Их заключения сопоставили с диагностическими предположениями восьми языковых моделей.
Результат: несколько моделей в среднем согласовывались с экспертами не хуже, чем эксперты друг с другом. При этом разброс согласованности между врачами оказался выше, чем между большинством моделей и врачами. Это и показывает, почему при сравнении диагностических систем важно учитывать различия экспертных мнений.
Важная оговорка: согласованность ответов сама по себе не означает, что диагноз поставлен правильно.
Комментарий автора Пётр Анохин, старший научный сотрудник Центра ИИ МГУ, пояснил: если врачи расходятся, оценка ИИ по ответу одного специалиста даёт неполную картину. Предлагаемый подход учитывает и ответы модели, и степень согласия между врачами. Но такая проверка не заменяет оценку правильности диагнозов и безопасности применения системы в клинике.
Ограничения Подход может использоваться при разработке и сравнении систем поддержки врачебных решений, анализирующих текстовые диалоги. Но пока он проверен только на смоделированных разговорах на русском языке. Для других языков, видов медицинских данных и условий применения нужны дополнительные исследования.
Пересказ deepseek