27 мая на DataFest выступаю в секции "Ужасы медицинских данных" с темой - "Кейс распознавания и структурирования данных медицинских бланков"

Я уже не раз рассказывал про то, как мы решаем эту задачу в нашей мед. карте и в феврале уже рассказывал такой доклад на митапе в Сириусе.

С тех пор ряд решений, на которые мы рассчитывали не сработали, мы попробовали новые решения, столкнулись с новыми сложными задачами, сгенерировали новые идеи!

В этот раз выступление онлайн и даже обещают запись.

Делюсь презентацией с сегодняшнего выступления на Datafest.

Небольшая выдержка из текста доклада про то, на каком этапе мы сейчас находимся в решении этого кейса и куда будем двигаться.

Главная сложность которая сейчас нас блокирует - это работа с дублями биомаркеров.
Нам нужно метчить распознное значение биомаркера с бланка со значениями и их синонимами в нашей базе.
Чтобы адекватно формировать историю изменения показателей биомаркера.
А не создавать каждый раз новый биомаркер, вместо привязки имеющегося.

Текстовый поиск с этим не справился.
Стандартный векторный поиск тоже не справился, потому что логика смысловой близости наименований биомаркеров не соответствует русскому и английскому языкам.
Можно сказать что для модели - наименования и синонимы биомаркеров - это "новый язык".

Мы хотим попробовать дообучить на этом "новом языке" эмбединговую модель векторного поиска на собранных наименованиях и синонимах.

Выложили первый выпуск нашего подкаста "Лучшее время" с руководителем направления AI X5 digital Кариной Садовой.

Пообщались про AI в medtech - как применяются технологии сейчас, в частности в системах анализа медицинских снимков, системах поддержки принятия врачебных решений, прогнозных моделях.
Обсудили превентивную, персонализированную и интегративную медицину и как технологии машинного обучения помогут реализовать эти тренды.

Разобрали некоторые задачи AI-ассистента нашего проекта "Я Здоров": построение пайплайна, классификация запросов, выбор LLM-модели, промтинг, RAG, дообучение.

YouTube
VK Video

Да, мы наконец-то запускаем "Лучшее время" - наш подкаст про технологии, продукты и бизнесы, которые меняют мир.

Мы будем приглашать экспертов рынка цифровых продуктов разных профилей: менеджеров и технических специалистов, предпринимателей и наёмных сотрудников, стартаперов и представителей крупного бизнеса.

Будем говорить про предпринимательство, цифровые продукты и технологии, разбирать наши IT-продукты и стартапы.
Подписывайтесь на канал и смотрите наш первый выпуск!

Прочитал сегодня статью, про медицинские советы от AI-ботов.

Пациенты всё чаще обращаются к нейронным сетям за диагнозами и рекомендациями.
Но исследование Оксфордского университета ставит под сомнение безопастность таких консультаций.

По их мнению - 2 основных фактора, которые мешают ИИ стать полезным помощником в вопросах здоровья:

1. Многие пользователи не понимают как правильно сформулировать запрос к нейросети, какие данные передать, чтобы получить точный исчерпывающий ответ.

2. В ответе можно получить как разумные рекомендации, так и информацию из непроверенных источников. Банальные галлюцинации нейронных сетей в вопросах здоровья становятся критичными.

Решая именно эти проблемы мы и рассчитываем сделать наш AI-ассистент "Я здоров" лучше использования широкопрофильной LLM.

Наш ассистент - это не просто LLM.
Мы реализуем достаточно сложную схему, которая будет классифицировать запрос пользователя, задавать уточняющие вопросы, давать подсказки.
Подтягивать релевантные данные из медицинской карты и прошлой истории взаимодействия с сервисом.
И только потом запрос будет направляться в LLM, в нужную ветку с настроенными систем-промтом.

Для повышения достоверности мы обогащаем модель данными из клинических рекоммендаций и других источников данных доказательной медицины через RAG.

Насколько возможно - обвешиваем запросы и ответы проверками безопастности и этики.

Подали с нашим проектом "Я здоров" заявку на грантовый конкурс Фонда содействия инновациям "Старт 1".

Как всегда в последний момент - за 11 часов до завершения подачи.

Я раньше изучал тему грантов под разные проекты, но оформить заявку руки не доходили - количество документов и требуемый уровень бюрократичности заполнения казались мне неподъемными.

Сейчас я решил что подам заявку во чтобы то не стало)
Мы сильно верим в этот проект, уже долгое время развиваем его на свои и продолжим это делать, так что грантовое финансирование точно лишним не будет)
Да и научно-техническая составляющая у нас здесь достаточно очевидная.

В этот раз я сильно оптимизировал процесс подготовки документов и подачи заявки, суммарно потратил на всё около 8 часов.

Что мне помогло:

1. Бизнес-ассистент предварительно изучил положение о проведении конкурса и подготовил мне краткие выжимки что конкретно нужно подготовить.
Это сэкономило немало времени.

2. ИИ, куда же без него.
Мне нужно было подготовить бизнес-план проекта и ТЗ на НИОКР.
Ранее я профессионально такие документы не составлял.
Помог наш любимый AI, конкретно использовал Claude 4 Sonnet с простым RAG-ом.
Я загрузил в RAG-базу всю собранную информацию о проекте, в промтах рассказал о проекте, какого рода документацию будем готовить, где нужно использовать только информацию из моих файлов, а где можно дополнять данными из внешних источников.
После чего AI по очереди формировал разделы бизнес-плана и ТЗ, а я только проверял и вносил корректировки.

3. Я начал готовиться за 3 дня до дедлайна, много времени у меня просто не было, поэтому пришлось делать быстро)

Как идёт подготовка к релизу «Я здоров»

Месяц назад мы запустили сайт проекта и открыли предварительную регистрацию. Интерес к продукту есть, записи идут. Что ещё нужно доделать к релизу.

В приложении уже реализовано многое:
— медицинская карта - загрузка, распознавание и структурирование анализов, обследований и приемов врачей;
— профиль семьи
— интерфейс для медицинских специалистов с доступом к данным пациента, возможностью комментировать, отслеживать изменения
— опросы: создание и назначение мед. специалистом, прохождение пользователем
— MVP AI-ассистента, который может консультировать по вопросам здоровья и медицины, используя данные медицинской карты и прошлые обращения пользователя

Одна из сложных задач, которая ещё не готова, но критична для запуска - структурирование биомаркеров при распознавании бланков анализов.

Биомаркеры имеют большое количество синонимов и вариантов сокращений.
В анализах одного и того же пациента «глюкоза» может называться «сахар», «glucose», «глюкоза в крови» и ещё десятком способов. Врач понимает, что это одно и то же, компьютер — не всегда.
10-20 синонимов для одного биомаркера это база, по некоторым биомаркерам доходит до сотен.
При этом часто на бланках названия биомаркеров сокращаются и кажется что делает эти сокращения каждая лаборатория по своему.
При этом нам важно стабильно определять, что при разных написаниях в бланке - это один и тот же биомаркер.
В противном случае у нас формируются дубли, то есть разные названия одного биомаркера мы сохраняем как разные биомаркеры, а значит нет адекватной истории изменений и графиков, да и для дальнейшей работы прогнозных моделей такие данные мягко говоря не очень ценны.

Простой текстовый поиск с этим не справляется. Векторный из коробки тоже.
Нам нужно, чтобы биомаркеры и их синонимы векторизовались так, чтобы синнонимы и сокращения одного биомаркера находились семантически близко, а разных - далеко.
Сейчас мы тестируем подход с обучением модели-векторизатора методом сontrastive learning на неестественном языке.

Сложные задачи в medtech-продуктах на технической части не заканчиваются: есть еще юрисдикция и работа с данными.
Медицинские данные относятся к первой категории персональных данных, требования к их защите особенно жёсткие. А еще жестче работа над ними становится от того, что мы — не корпорация с неограниченным штатом и бюджетами (пока), и во многом приходится разбираемся самим.

Дорогу к релизу осилит идущий!)

А ещё в ближайшие пару недель планируем провести онлайн-демо нашего будущего продукта - показать функционал, поотвечать на вопросы.
Поставьте реакции или напишите в комментарии кому было бы интересно.

OpenAI запускает функциию покупок внутри ChatGPT.

Маркетологи уже давно думают о том, как сделать так, чтобы информация о бренде попадала в ответы LLM.
Типа как SEO, только оптимизация всего контента о твоей компании / продукте / бренде под chatGPT и аналоги.
Чтобы они обучались на информации о твоём продукте и упоминали его в ответах.
То, что они вкрутят в интерфейс возможность покупки - безусловно ускоряет этот тренд, но по сути просто интерфейсная фича и интеграция.

Интересна тенденция, что нейросетевые чаты оказывают всё большее влияние на потребительское поведение.
Люди готовы покупать товары и услуги, которые им в контексте диалога рекомендуют нейросети.

Что мне приходит в голову на эту тему, применимо к своим проектам:

1. По продвижению наших компаний и продуктов - надо продолжать делать акцент на пиар - чем больше будет информации о нас, тем больше про нас будут знать и нейронки) Тут всё банально)

2. Мы можем аналогичный функционал добавить и в наш медицинский ассистент "Я Здоров" как источник монетизации - в подходящие моменты предлагая пользователю на запись на анализы, обследования и т.д. в партнерские клиники/лаборатории.

2-й пункт я в целом рассматриваю как основной источник монетизации Я Здоров - партнерство с медицинским бизнесом.
Правда на эту тему меня прошлой осенью CDTO Инвитро загнал в угол моральным конфликтом между монетизацией и ценностями проекта, из которого я до сих пор не нашёл идеальный выход)

Если интересно, поставьте реакции - расскажу в следующих постах что за моральный конфликт)

На прошлой неделе я посетил конференцию по превентивной медицине и записал подкаст с biomedtech-энтузиастом.
И хочу поделиться актуальными мыслями про то, как будет развиваться AI в здравоохранении.

Основные группы ИИ-сервисов, которые сейчас используются в здравоохранении:
- Обработка и анализ графических изображений (рентген, МРТ и т.д.)
- Анализ и суммаризация медицинских карт
- Системы поддержки принятия врачебных решений (ТОП 3 диагноза и т.д.)
- Автоматизация рутинных бэк-офисных задач
- Взаимодейтсвие с пациентом (анализ диалога врача и пациента, заполнение документации, сопровождение после приёма и т.д.).
Последнее пока только зарождается, но тем не менее.

Любое ПО с ИИ, которое будет использоваться в процессе оказания медицинских услуг должно регистрироваться как медицинское изделие.
Таких зарегистрированных мед. изделий с ИИ пока в России всего 47 - рынок только формируется и процесс непростой, занимает год (если постараться).
И пока нет ни одного на базе LLM - слишком велик эффект черного ящика.

Имеющиеся модели призваны сэкономить время, снизить нагрузку на врача, повысить качество диагностики.
Несмотря на это многие врачи жалуются, что они теперь работают "проверяторами" алгоритмов ИИ.

Пока ИИ-сервисы в здравоохранении - это такие подсказчики врачу со стороны.
И пока это так, эффект от них не сказать чтобы действительно сильный.
То, что есть сейчас, это промежуточная точка.

Со временем мы должны перейти к более автономному ИИ.
Автономному настольно, что он сможет полностью снимать с врача хотя бы простые задачи.
Оставляя ему наиболее когнитивно сложные.

Также есть тренд на объединение данных о здоровье пациента от разных сервисов - медицинские снимки, мед. карты, пациентские данные, данные тренинговых устройств - всё будет объединяться в единый профиль пациента.

Есть вопросы с данными, этикой и регуляторикой.

ML строится на обучении на данных.
Для того чтобы открыть новые диагностические и предсказательные возможности, корреляции про которые мы сейчас даже не знаем, нам в первую очередь нужно агрегировать и структурировать максимальный объем данных о здоровье человека из всех возможных источников.

Данные о здоровье у нас конфиденциальные данные самого высокого уровня.
С одной стороны мы не можем рисковать безопасностью этих данных и вообще этически не можем использовать данные без согласия пациента.

Многие игроки рынка сейчас думают о нахождении баланса между страхами безопастности и ограничением прогресса технологий машинного обучения в медицине.

Регуляторика и этика отстаёт от техногий во многих отраслях и медицина не исключение.
Кто будет отвечать за ошибку ИИ, даже если он будет ошибаться реже чем врач?
Когда государство и общество будет готово принять право алгоритмов ИИ на ошибку?


Пользовательские ИИ-сервисы

Благодаря трендам на ЗОЖ и превентивную медицину формируется потенциальный спрос на универсальных ИИ-ассистентов по медицине и здоровью, сквозные цифровые профили, AI-агентов, следящих за здоровьем и помогающих держать его в фокусе.

К этой теме с разных сторон подходят разные комапнии и стартапы, в том числе и мы в "Я здоров".

Достаточно давно скачал себе исследование Яков и партнеры и Медси про искуственный интеллект в здравоохранении.
Но там 50 страниц, поэтому изучить добрался только сейчас)

Некоторые интересные моменты из исследования:

Ключевые тренды в цифровой медицине:
искуственный интеллект, превентивная медицина, персонализация, агрегация данных и сервисов, носимые и портативные устройства.
Все эти тренды общемировые, про них же пишут и исследователи из международных консалтинговых компаний.

Превентивная медицина - часть доказательной медицины, дополненная
принципами здоровья и благополучия.
Превентивную медицину начинают признавать всё больше, что радует.

Клиенты медицинских учреждений хотят получать персонализированные научно обоснованные
рекомендации, применимые именно к их целям и их анамнезу.
Ключом к реализации таких возможностей может стать ИИ.
Например, Atlantic Health System (крупнейшая сеть более чем с 400 медицинскими учреждениями в США) формирует персонифицированные предложения для клиентов, отобранные рекомендательной системой на основе ИИ с учетом их потребностей.

Несмотря на активное развитие ИИ, здравоохранение остается уникальной сферой, где процесс внедрения новых продуктов отличается от любой другой области. Основное отличие – цена ошибки.
Любое внедрение должно производиться через строгую валидацию и клинические испытания, поскольку на кону стоит жизнь и здоровье людей.
Именно поэтому все решения проходят долгий цикл от разработки до полноценного внедрения.

Широкое внедрение ИИ может привести к экономии 5–10% от текущих расходов здравоохранения в мире – значительная цифра, учитывая триллионные затраты отрасли.

Что актуально для нашего проекта "Я здоров"
Виртуальные ассистенты – ИИ-ассистенты для врачей и пациентов с контентом, чатом с генеративным ИИ и персональными рекомендациями.
По количеству и доходности подобных стартпапов в мире эту категорию относят к высокодоходным и ещё набирающим популярность.
Так что надеюсь шанс залезть сюда ещё есть)

Объём рынка ИИ в здравоохранении к 2030 году вырастет в 6,5 раз до 78 млрд рублей (1% от мирового рынка).
Продукты с использованием генИИ в российском здравоохранении находятся на ранней стадии: существующие разработки ограничены пилотными проектами, а полноценные коммерческие продукты пока не сформировались. Компании тестируют точечные решения, например извлечение данных с помощью генИИ, автоматическое создание клинических заметок и т. д., но массовых провайдеров и крупных инвестиций на рынке РФ нет.

Правительство РФ активно поддерживает развитие ИИ-технологий в медицине. В 2019 г. утверждена Национальная стратегия развития ИИ до 2030 г.
Государство также стимулирует внедрение ИИ-систем, субсидируя их закупку.

Группы продуктов, с наибольшим потнециалом внедрения в клиниках РФ:
цифровые ассистенты, клиническая сводка, помощник врача, экспертный контроль.

С улучшением качества генерации текста с помощью ИИ растет и доверие пользователей к сервисам на их основе. Более 70% из 1 тыс. опрошенных заявили, что готовы пользоваться медицинскими ИИ-агентами в сфере wellness (психология, диетология и пр.).
Эти данные свидетельствуют о формировании устойчивого спроса на применение ИИ в медицинских и wellness-сервисах.

Персонализированные рекомендации позволяют сфокусировать внимание врачей и пациентов на факторах
риска, что способствует их раннему выявлению и своевременному лечению, не допуская развития заболеваний с тяжелыми последствиями.

PDF-файл полного исследования в комментарии к посту.