Новое исследование показало неожиданную проблему: искусственный интеллект отвечает на вопросы о клинических исследованиях точнее, чем ожидали ученые. Но люди все равно остаются незаменимыми.
Ученые протестировали систему на основе большой языковой модели для информирования людей перед участием в клинических исследованиях. ИИ давал очень точные ответы и почти не допускал выдуманных фактов. Однако исследование выявило неожиданную проблему: людям важна не только точность информации, но и живой диалог, контекст и эмпатия. Это может изменить представление о том, какую роль ИИ будет играть в медицине в ближайшие годы.
 |
| Исследование показало: ИИ способен точно отвечать на вопросы участников КИ, но человеческий диалог остается важной частью принятия решений. |
Самая дорогая часть клинических исследований скрыта не в лаборатории
Когда говорят о стоимости клинических исследований, многие представляют сложные анализы, оборудование и лекарства.
Но значительная часть расходов связана с людьми.
По данным авторов исследования, средняя стоимость одного клинического исследования сегодня составляет около 19 миллионов долларов. Существенную долю этих затрат формируют зарплаты исследовательского персонала, который сопровождает участников и отвечает на их вопросы.
Одним из самых трудоемких этапов является процедура информированного согласия.
Перед включением в исследование человек должен понять:
- что именно будут изучать;
- какие существуют риски;
- какие возможны преимущества;
- какие процедуры предстоят;
- можно ли отказаться от участия в любой момент.
На практике участники задают десятки вопросов, а координаторы исследований тратят много времени на индивидуальные объяснения.
Именно здесь исследователи решили проверить возможности искусственного интеллекта.
Что именно проверяли ученые
Исследование не тестировало обычный чат-бот.
Авторы создали специальную систему MODEL-RCT (Machine Learning to Optimize and Accelerate Efficiency in Randomized Clinical Trials).
Ее принципиальная особенность заключалась в том, что модель не могла обращаться к интернету и внешним источникам.
Ей разрешалось использовать только документы конкретного клинического исследования:
- протокол исследования;
- руководство по проведению;
- форму информированного согласия.
Проще говоря, система работала как сотрудник, которому разрешили отвечать исключительно по официальным документам проекта.
Такой подход был выбран специально для борьбы с одной из главных проблем современных ИИ-систем — галлюцинациями, то есть уверенным созданием несуществующих фактов.
Как проходил эксперимент
Основой стал реальный клинический проект DEFEND, посвященный профилактике длительного COVID.
Сначала исследователи подготовили 106 вопросов, которые потенциальные участники действительно могли бы задать перед вступлением в исследование.
Вопросы охватывали:
- цели исследования;
- процедуры;
- риски;
- возможные преимущества;
- добровольность участия.
Каждый вопрос задавали системе три раза.
В итоге получилось 318 ответов для анализа.
Затем ответы оценивали независимые эксперты.
Результат оказался лучше, чем многие ожидали
Средняя оценка точности ответов составила 4,8 балла из 5 по мнению людей-экспертов.
Дополнительная ИИ-система-модератор дала практически такой же результат — 4,7 балла из 5.
Модель также демонстрировала высокую стабильность.
Когда один и тот же вопрос задавался разными формулировками, смысл ответов практически не менялся. Показатель семантической согласованности составил 0,91.
Для медицинской коммуникации это важный результат.
Человек может получить разные ответы от разных сотрудников. Алгоритм же практически всегда отвечал одинаково.
Момент осознания: проблема оказалась не в ошибках ИИ
Самый интересный результат исследования связан вовсе не с точностью.
Когда ученые сравнили оценки экспертов, выяснилась странная вещь.
Согласованность между людьми оказалась крайне низкой — коэффициент составил всего 0,1.
То есть разные специалисты часто по-разному оценивали один и тот же ответ.
Почему?
После обсуждения выяснилась, что многие ответы были фактически правильными, но казались экспертам недостаточно хорошими.
Им не хватало:
- живого разговора;
- понимания скрытого смысла вопроса;
- эмоциональной поддержки;
- учета ситуации конкретного человека.
Для информированного согласия недостаточно просто передать правильную информацию. Человек хочет быть услышанным.
Почему живой разговор работает иначе
Представьте двух людей.
Один спрашивает: «Мне стоит участвовать в исследовании?»
На бумаге это простой вопрос.
Но за ним могут скрываться совершенно разные переживания:
- страх побочных эффектов;
- тяжелое течение болезни;
- недоверие к экспериментам;
- желание получить лечение быстрее.
Человек-координатор обычно чувствует этот контекст.
Он уточняет детали, задает встречные вопросы, меняет объяснение по ходу разговора.
ИИ в этом исследовании намеренно был лишен такой возможности.
Он должен был отвечать строго по документам.
Именно поэтому ответы могли быть технически безупречными, но восприниматься как недостаточно человечные.
Где система сама признает свои ограничения
Еще один важный результат связан с безопасностью.
В 14 случаях из 318 ответов система отказалась отвечать самостоятельно и перенаправила вопрос главному исследователю.
Это происходило, когда вопрос выходил за рамки документов.
Например:
- о взаимодействии лекарств;
- об изменении состояния пациента;
- об индивидуальных рисках;
- о персональных медицинских рекомендациях.
Проще говоря, модель не пыталась угадывать.
Она признавала границы своей компетенции.
Для медицины это может быть важнее, чем способность ответить на все вопросы.
Что это может изменить в клинических исследованиях
Авторы не утверждают, что ИИ готов заменить исследовательский персонал.
Наоборот.
Они подчеркивают, что работа является лишь проверкой концепции и не показывает, как реальные пациенты будут воспринимать такие системы.
Но потенциальные преимущества выглядят заметными.
Если подобные решения будут работать надежно:
- исследовательские центры смогут снизить нагрузку на персонал;
- небольшие больницы получат доступ к клиническим исследованиям;
- станет проще работать с удаленными пациентами;
- появится возможность многоязычного сопровождения участников.
Это особенно важно для групп населения, которые сегодня недостаточно представлены в клинических исследованиях.
Почему это касается не только науки
На первый взгляд тема выглядит узкоспециализированной.
Но на самом деле речь идет о более широком вопросе.
Может ли искусственный интеллект объяснять сложные медицинские решения людям?
Это касается:
- клинических исследований;
- выбора лечения;
- информирования пациентов;
- медицинских сервисов будущего.
Новое исследование показывает, что ответ уже не выглядит фантастикой.
ИИ способен передавать информацию очень точно.
Но понимание человека пока складывается не только из фактов.
Оно рождается в разговоре.
Данная публикация предназначена для специалистов здравоохранения и участников фармрынка. Аналитические выводы редакции носят информационный характер и не являются призывом к самолечению или заменой очной консультации врача. При работе с лекарственными препаратами необходимо руководствоваться официальной инструкцией и мнением профильного специалиста. Полный текст дисклеймера.
Источники и материалы
- Performance of a Large Language Model in the Informed Consent Process for Participation in a Clinical Trial — npj Digital Medicine
- Large Language Models in Informed Consent — MRCT Center
- Transforming Informed Consent Generation Using Large Language Models — PubMed Central
- National Center for Biotechnology Information — PubMed