Израильское исследование: медицинский ИИ обычно избегает лишних обследований, но ошибается в двух областях

Шесть коммерческих моделей искусственного интеллекта обычно распознавали ситуации, в которых обследование или лечение не требовалось. Об этом говорится в израильском исследовании, опубликованном 20 октября в Annals of Internal Medicine. Ошибки сосредоточились вокруг двух решений: УЗИ при небольших случайно обнаруженных узлах щитовидной железы и плановой электрокардиографии у взрослых с низким риском. Ученые оценивали ответы на письменные задачи; пациентов не привлекали и не лечили.

Проверяли и действия, и отказ от них

В исследовании участвовали Дин Ариэль из «Клалит» и Тель-Авивского университета, Гай Лабан из Университета Бен-Гуриона в Негеве и Став Эндельман из больницы «Бейлинсон» медицинского центра имени Рабина и Тель-Авивского университета. Их интересовал практический вопрос: распознает ли ИИ малополезные вмешательства, продолжая рекомендовать необходимую помощь.

Этот баланс заложили в эксперимент. Система, отвергающая любое обследование, правильно ответила бы на часть вопросов, но могла бы быть опасной в других случаях. Поэтому ученые отдельно измеряли рекомендации лишних вмешательств и ошибочный отказ от обоснованной процедуры. Для этого использовали ситуации из одной медицинской области, требующие разных решений.

Как 225 сценариев дали 4 050 ответов

Команда выбрала 15 рекомендаций Choosing Wisely, инициативы фонда Американского совета по внутренней медицине, призванной стимулировать обсуждение ненужной помощи. Для каждой рекомендации составили 10 случаев, в которых следовало воздержаться от вмешательства, и пять, когда оно было необходимо. Всего получилось 225 сценариев.

Шесть моделей OpenAI, Anthropic и Google отвечали на каждый сценарий трижды через коммерческие программные интерфейсы в феврале и марте 2026 года. Полученные 4 050 ответов оценили по обоим типам ошибок. Запросы формулировались с позиции врача. Классификацию проводила модель-судья с врачебным арбитражем, что является частью методики оценки результатов.

Основные ошибки пришлись на две рекомендации

Общий показатель рекомендаций избыточной помощи составил 5,4%. В восьми из 15 групп модели не предложили ни одного лишнего вмешательства. Ошибочный отказ от нужной процедуры встретился в 0,6% ответов и отсутствовал в 11 группах. Самый высокий показатель такого отказа, 3,3%, относился к скринингу по простатическому специфическому антигену.

Более выраженные недостатки касались избыточной диагностики. Модели рекомендовали ненужное УЗИ щитовидной железы в 42,8% соответствующих ответов, а плановую ЭКГ в 28,3%. Для практики это существенно: благополучный средний показатель может сочетаться с ненадежными советами по конкретному вопросу, возникающему на приеме.

Сложности отражают разногласия в самой медицине

Университет Бен-Гуриона объяснил результаты по щитовидной железе различиями между подходами Американской тиреоидной ассоциации и Американского колледжа радиологии к небольшим случайно выявленным узлам. В сценариях с ЭКГ решение осложнялось упоминанием сердцебиения: при соответствующих клинических обстоятельствах этот симптом может оправдывать дополнительное обследование.

Лабан также отметил большие различия между моделями, получавшими одинаковые задачи. В некоторых спорных случаях одна советовала лишнее обследование менее чем в 10% ответов, а другая в 80%. По оценке университета, гладко сформулированный ответ чат-бота способен скрывать серьезные разногласия между системами, обученными на медицинской информации.

Почему основой стала Choosing Wisely

Фонд ABIM запустил Choosing Wisely в 2012 году на основе рекомендаций медицинских профессиональных обществ. Целью было помочь врачам и пациентам обсудить пользу вмешательства с учетом обстоятельств конкретного человека. Лишние обследования рассматривались как проблема качества помощи, в том числе из-за возможного вреда последующих процедур после случайных находок.

Этим объясняется использование парных случаев. Одна и та же визуализация, лекарственная терапия или скрининг могут стать обоснованными при изменении анамнеза. Проверка такого переключения сложнее простого воспроизведения отдельной рекомендации. Она также выявляет области, где сами руководства допускают конкурирующие медицинские суждения.

Следующий этап: настоящий разговор

В интервью Jerusalem Post от 31 октября Ариэль сказал, что модели тестировали только на английском языке и что для подтверждения клинической пригодности нужны дальнейшие исследования. Работа использовала одиночные запросы без продолжения диалога. Поэтому она не проверяла, сохранит ли помощник верную рекомендацию, если встревоженный пациент настойчиво попросит еще один анализ.

Авторы назвали такое взаимодействие важным следующим вопросом. Проспективные клинические исследования должны также оценить исходы для пациентов и практические меры защиты, а не только количество отмененных обследований. Пока израильская команда представила подробную картину того, где модели проявляли разумную сдержанность, где отказывали в необходимой помощи и какие решения оставались для них наиболее трудными.