Улучшение прогностических моделей в здравоохранении с помощью генеративного ИИ
Исследование случая выявления пневмонии и стадирования рака
Обзор проекта
В стремительно развивающейся области здравоохранения использование генеративного ИИ, в частности, больших языковых моделей (LLM), для прогнозирования состояний заболеваний на основе клинических отчетов знаменует собой значительный шаг вперед. Клиент, первопроходец в области аналитики здравоохранения, приступил к миссии по совершенствованию своих моделей прогнозирования состояний заболеваний. Используя базу данных MIMIC CXR с открытым исходным кодом и включив генеративные прогнозы ИИ для первоначального анализа с последующей ручной проверкой с помощью Label Studio, цель состояла в том, чтобы повысить точность и надежность моделей для анализа клинических отчетов, особенно отчетов по радиологии.
Задачи
Интеграция генеративных прогнозов ИИ в рабочие процессы здравоохранения вызвала многочисленные трудности:
Обеспечение доступа к высококачественным медицинским наборам данных с открытым исходным кодом, таким как MIMIC-CXR, требовало строгого процесса сертификации, гарантирующего соблюдение конфиденциальности и этических стандартов.
Первоначальные результаты работы генеративных моделей ИИ иногда демонстрировали неточности в прогнозировании состояний заболеваний, что требовало ручных проверок для повышения точности.
Точная классификация состояний болезни на основе сложного языка клинических отчетов, особенно при использовании генеративного ИИ, представляла собой значительную проблему.
Обеспечение высококачественных и точных аннотаций в инструменте Label Studio требовало специальных знаний и понимания медицинских состояний заболеваний.
Решение
Для решения этих проблем Шаип применил комплексную стратегию:
- Оптимизированная аттестация: Команда быстро прошла процесс аккредитации для доступа к MIMIC-CXR, продемонстрировав эффективность и приверженность этическим принципам проведения исследований.
- Разработка руководства: Разработаны подробные рекомендации для ручных валидаторов, обеспечивающие единообразие и качество аннотирования прогнозов LLM.
- Комментарии экспертов по прогнозам ИИ: Тщательная ручная проверка и корректировка прогнозов LLM с использованием Label Studio с привлечением медицинских экспертов.
- Показатели эффективности: С помощью детального анализа Шайп рассчитал показатели эффективности LLM, такие как согласованность, точность, полнота и баллы F1, что позволило обеспечить постоянное совершенствование.
Результат
- Повышенная точность в прогнозировании состояний заболеваний на основе отчетов рентгенологов.
- Разработка в А высококачественная наземная проверка набор данных для разработки будущих продуктов и оценки прогнозов генеративного ИИ.
- Улучшенное понимание идентификации состояний болезни, что способствует более надежным прогнозам.
Вариант использования 1: Проверка модели машинного обучения
Сценарий: Повышение точности прогнозирования пневмонии с помощью генеративного ИИ В этом случае генеративная модель ИИ просеивала отчеты о рентгенографии грудной клетки, чтобы обнаружить признаки пневмонии. Отчет, в котором отмечалось «Повышенная непрозрачность в правой нижней доле, указывающая на инфекционный процесс», побудил ИИ изначально классифицировать его как «Неопределенный» из-за неоднозначной формулировки отчета.
Процесс проверки:
- Медицинский эксперт изучил отчет в Label Studio, сосредоточившись на тексте, выделенном ИИ.
- Оценив клинический контекст и применив рентгенологические знания, эксперт переклассифицировал заключение как однозначно «положительное» на пневмонию.
- Эта экспертная коррекция была снова интегрирована в модель ИИ, что способствовало ее постоянному обучению и совершенствованию.
Результаты:
- Улучшенная точность модели
- Повышение точности и полноты показателей производительности
Вариант использования 2: Создание набора данных наземных данных
Сценарий: Создание контрольного набора данных для определения стадии рака по системе TNM с помощью генеративного ИИ
Стремясь продвинуть разработку продукта для определения прогрессирования рака, клиент стремился собрать всеобъемлющий набор данных Ground True. Этот набор данных будет эталоном обучения и оценки новых моделей ИИ для точного прогнозирования стадии рака TNM на основе клинических описаний.
Процесс создания набора данных:
- Был собран широкий спектр отчетов, связанных с раком, включая результаты патологоанатомических исследований и диагностические обзоры.
- Генеративная модель ИИ предоставила первоначальные прогнозы стадийности TNM для каждого отчета, используя свои изученные закономерности и знания.
- Медицинские специалисты проверяли точность прогнозов, сгенерированных ИИ, исправляли ошибки и дополняли информацию в случаях неполных или неверных прогнозов ИИ.
Результаты:
- Создание высококачественного набора данных наземных данных.
- Фонд будущих продуктов для совершенствования моделей следующего поколения по диагностике и стадированию рака.
Работа с Shaip произвела революцию в нашем подходе к прогнозированию заболеваний. Точность и надежность наших моделей значительно улучшились благодаря аннотациям, выполненным экспертами Shaip в предметной области. Благодаря их тщательному процессу проверки.
