Правда ли, что медицинский ИИ точнее врачей? Наш фреймворк помогает это выяснить
Специалисты AIRI и НМИЦ им. В. А. Алмазова разработали фреймворк для оценки качества ИИ-диагностики по свободным формулировкам диагнозов и опубликовали статью в Scientific Reports.
ИИ-новостник
Сотрудники лаборатории «Сильный ИИ в медицине» Института AIRI совместно с врачами ФГБУ «НМИЦ им. В. А. Алмазова» Минздрава России разработали и опубликовали фреймворк для объективной оценки медицинских ИИ-систем диагностики. Статья вышла в журнале Scientific Reports. Автором материала на Хабре выступил старший научный сотрудник лаборатории Илья Копаничук.
Фреймворк создан, чтобы проверять модели в условиях, близких к реальной врачебной практике. Вместо выбора из готового списка диагнозов система работает со свободными формулировками. Вместо сравнения с «усреднённым» экспертом по голосованию метрики оценивают близость ответов ИИ к диагнозам каждого конкретного врача в отдельности.
Для тестирования собрали датасет из 360 текстовых диалогов: 180 реальных приёмов врач–пациент и 180 диалогов модель–пациент. Семь терапевтов из Центра Алмазова независимо выписали до трёх возможных диагнозов по каждому анамнезу. На тех же данных протестировали актуальные на начало 2025 года языковые модели, включая DeepSeek-V3, GigaChat-Max, GPT-4o, Mistral-Large, Llama-405B и Qwen-72B.
Чтобы сравнивать свободные диагнозы, исследователи обучили отдельную мета-модель. На 6500 парах диагнозов, размеченных тремя экспертами, она достигла точности 98 % и коэффициента каппа 0,91. После дистилляции с помощью ModernBert метрика составила 0,88. На основе этих наработок введены относительные метрики RPAD (относительная точность алгоритмической диагностики) и RRAD (относительная полнота алгоритмической диагностики).
Фреймворк позволяет понять, насколько модель способна войти в пул реальных экспертов, а не просто угадывать из ограниченного списка. Публикация доступна в Scientific Reports, код и дополнительные материалы размещены на Hugging Face.
