У нас тут в Сириусе организовывается сообщество IT&DS специалистов)
В четверг буду там рассказывать про наш кейс распознавания и структурирования данных с бланков медицинских анализов на проекте медицинской карты.

Тезисы:
Проблема разроненной структуры данных и форм бланков.
Сбор базы данных биомаркеров, единиц измерений и референсных значений.
Подходы к решению: OCR + векторный поиск, LLM, обучение модели распознавания на дата-сете.
Какой точности достигли и как будем повышать

Моё первое выступление по AI и первое выступление в Сириусе)

Подробности в посте выше ☝️☝️☝️

Подали один из наших medtech AI-стартапов - медицинскую карту на конкурс Workspace digital awwards 2025:

К первому релизу мы немного не готовы: нужно ещё поработать с алгоритмом распознавания бланков, доправить баги, дизайн-ревью, сделать промо-сайт и решить юридические вопросы хранения медицинских данных.

А вот начать рассказывать о проекте на digital-сообщество - в самый раз)

Поэтому, если интересно почитать подробнее про функционал нашего проекта и посмотреть макеты, пожалуйста)
https://workspace.ru/cases/cifrovaya-medicinskaya-karta-ya-zdorov

В комментариях мне задали вопросы по нашим алгоритмам распознавания бланков анализов и в целом по проекту медицинской карты.
Расскажу некоторые детали и заодно отвечу на вопросы)

На данный момент у нас точность распознавания биомаркеров и их значений с бланков - 80-90%.

Зависит в основном от бланка - чем больше его структура похожа на таблицу, тем лучше распознаем данные.
Но за счёт того, что мы используем связку OCR + LLM - бланки без строгой табличной структуры тоже распознаются, хотя и немного хуже чем первые.

Также хуже распознаются редкие синонимы и сокращения названий биомаркеров.
У нас есть база синонимов, но когда синоним редкий, да ещё и записан на бланке сокращением - алгоритм может его не узнать.

Качество файла тоже влияет, фотографии низкого качества или сделанные под углом естественно распознаются хуже, чем pdf.

Распознавание бланка сейчас в среднем занимает 5-7 секунд.
Надеемся, что пользователи подождут, но конечно пытаемся ускорить.

Можно ли настраивать уровень доступа?

Да, доступ врача к данным медкарты можно гибко настроить по датам, сущностям, папкам.

Планируется ли интеграция с ЕГИСЗ? Вообще насколько проблематична подключение к гос системам?

В планах есть, считаю что подтягивать данные из гос. медицины и агрегировать их с данными из частной медицины и собственными данными пациента - очень перспективная тема.
Пока мы это пока отложили на следующий этап, это затратно как юридически, так и технически, я смотрел API РТ МИС)

В канале аутсорсинговой компании рассказали про одну из интересных задач в процессе разработки нашего приложения мед. карты - калькулятор пересчёта единиц измерения биомаркеров.

Для меня стало открытием, что коэффициенты пересчёта 2-х единиц измерения отличаются для разных биомаркеров!
Калькулятор стал сложнее, пришлось парсить эти коэффициенты.

Но с парсингом мы давно умеем работать, поэтому справились)

А так мы продолжаем героически бороться с задачей распознавания бланков анализов, пробуем разные подходы.
Там много сложного, интересного и неочевидного.
В какой-то мере занимаемся R&D, а не классической разработкой ПО)

Общались сегодня по нашему проекту с врачём из космической отрасли!

Мы вот верим в тренды на развитие превентивной медицины и дистанционного консультирования.
Хотим, чтобы люди больше выявляли и корректировали отклонения на ранних стадиях, а не лечили болезни.
И ещё, чтобы всё это было доступно не только в Москве и крупных городах.

Теперь инсайт - здравоохранение космонавтов всегда строилось именно на превентивной медицине и телемедицине!
Никогда на МКС не было ни одного врача. Фильм "Вызов" исключение)
И ни один космонавт не погиб на МКС.
Всё благодаря превентивной диагностике во время подготовки и телемедицине во время полёта!

Наш проект Я здоров занял 2 место среди мобильных приложений в сфере Красота и здоровье на конкурсе Workspace digital awards!

Это наш внутренний медтех стартап.
Он ещё не запущен, но уже заслужил внимание IT-отрасли!

К слову, первое место занял проект Спроси врача - сервис с аудиторией более 8 млн пациентов.

В среду первый раз делал питч нашего проекта "Я здоров" на отборочном демо-дне акселератора стартапов Сеченовского университета.

Надеемся попасть в 20 лучших проектов и выступить на итоговом демо-дне в конце мая в Москве.
Презентацию пока в общий доступ не скину, очень сырая)
Да и инвестиций пока не ищем, хотим выпустить продукт и получить первый трекшен на свои.

Но есть 2 вопроса, по которым хочу с вами посоветоваться:

1. Как вам краткое описание продукта с картинки?
Честно, придумали его на скорую руку к презентации.
Понятно о чём речь или нужно придумать что-то получше?

2. Нужен юрист с опытом в медтехе. К запуску нам нужно проработать ряд юридических вопросов по хранению мед. данных и чтобы переписка с нашим ИИ-ботом не расценивалась как медицинские рекомендации.

Буду благодарен за обратную связь по обоим вопросам в комментариях или в л/с.

Я не раз рассказывал, что в рамках нашего проекта мы в том числе решаем задачу распознавания данных с бланков медицинских анализов.
Мы пробуем разные подходы, в том числе с помощью LLM.

Недавно вышли новые модели от Qween и мне стало интересно протестировать их для нашей задачи.
Особенно самую маленькую Qwen2.5-Omni-7B.
Ведь такую модель можно инферить даже на скромных ресурсах.

У нас есть подборка бланков разной степени кривости: фотографии под углом, кривые структуры таблиц и т.д., в общем все проблемы бланков анализов.
Самое то для тестов.

Так вот, на 10 выборочных бланках модель разпознала все (или почти все) биомаркеры, значения и рефенсы без ошибок.
Нужно протестировать более детально и попробовать встроить в общий пайплайн - но даже по первым тестам очень неплохо для 7B модели!

Если что, потестировать модели Qween можно тут: https://chat.qwen.ai/
Все модели опенсорсные.
Перспективной из последних выглядит Qwen3-235B-A22B.
За счёт архитектуры MOE параметров немало, но в работе всегда используется только часть, за счёт чего модель работает быстрее.

+ умеет рассуждать.
При этом, как я понял, модель типа сама решает когда работать в режиме ризонинга, а когда нет.

Возможно потестируем для функционала консультанта.

Прислали интересный документ про применение AI в медицине.

https://github.com/researchim-ai/state-of-ai/blob/main/Med_AI_research.md

Некоторые тезисы, на которые обратил внимание.

Основные направления применения ИИ в медицине

- Диангостика заболеваний. Наиболее распространены решения по анализу медицинских изображений, решения для анализа текстовых данных медицинских карт постепенно догоняют.
- Персонализированная медицина
- Роботизированная хирургия
- Администрирование и оптимизация клинических процессов
- Разработка лекарств и клинические исследования

57% врачей назвали автоматизацию рутинных задач по заполнению (медицинских карт, документации и т.д.) «главной областью, где ИИ может помочь системе здравоохранения»

Специализированные медицинские чат-боты на основе LLM успешно сдают профессиональные экзамены для врачей, достигая уровня знаний сертифицированных докторов. Например, модель Med-PaLM 2 (разработанная Google) продемонстрировала экспертный уровень при ответах на медицинские вопросы и клинические случаи.

ИИ производит революцию и в сфере создания новых лекарственных препаратов, которая традиционно долгая и дорогостоящая. Алгоритмы способны просеивать огромные базы данных по известным молекулам и соединениям, предсказывать их активность, а также генерировать новые химические структуры с заданными свойствами (т.н. генеративный дизайн лекарств).
В сентябре 2024 года Insilico сообщила о успешном завершении фазы IIa клинических испытаний препарата, продемонстрировав его безопасность и первую эффективность у пациентов. Это один из первых случаев, когда лекарство, обнаруженное и оптимизированное с помощью ИИ, дошло до середины клинических испытаний с обнадеживающими результатами – важный прецедент для всей отрасли.

Этика

Принцип «не навреди» обязывает гарантировать, что медицинский ИИ работает точно и предсказуемо. Ошибка алгоритма при диагностике или лечении может стоить пациенту здоровья, поэтому регуляторы предъявляют высокие требования к качеству.

Алгоритмическая справедливость – ключевая этическая проблема. Известно, что модели машинного обучения могут наследовать системные предубеждения (bias) из обучающих данных. В медицине это может привести к снижению качества помощи для отдельных групп. Например, если набор данных для ИИ состоял в основном из представителей одной расы или пола, точность предсказаний для другой группы будет ниже.

Большинство медицинских нейросетей – это «черные ящики»: сложно понять, как именно они пришли к тому или иному решению. Такая неинтерпретируемость проблематична: врачи и пациенты могут не доверять совету, если непонятно его обоснование. Более того, для некоторых решений (например, отказ от назначения лечения) требуется отчетливое объяснение. Поэтому активно развивается направление Explainable AI (XAI): создание методов, поясняющих вклад разных факторов в прогноз модели, визуализация зон на изображении, на которые «обратил внимание» ИИ и т.п.

Еще дилемма: замена человеческого контакта. Если в будущем чатботы возьмут на себя значительную часть коммуникации, не повредит ли это врачебной этике, где сострадание и личное общение – важная часть лечения? Многие пациенты ценят эмпатию, и пока ИИ не умеет (а может, и не должен) действительно сочувствовать.

Риски и вызовы внедрения ИИ

Ни один алгоритм не гарантирует 100% точности. Существуют риски как ложноотрицательных результатов (ИИ пропустит патологию), так и ложноположительных (выдаст тревогу там, где ее нет, что приведет к лишним обследованиям и стрессу пациента).
Поэтому страх перед ошибками – один из факторов, сдерживающих быстрое принятие ИИ врачебным сообществом. Для минимизации: внедряются системы оповещения, когда модель не уверена в ответе (например, «не могу классифицировать»), чтобы привлечь особое внимание врача.

Продолжение 👇

Начало в предыдущем посте 👆

Чтобы обучить мощный алгоритм, нужны данные тысяч пациентов. Накопление таких данных в одном месте может привлечь злоумышленников. Утечка медицинских данных – один из самых нежелательных инцидентов.
Вызов – находить баланс между использованием данных на благо науки и защитой прав людей.
Технический вызов: применять передовые методы шифрования (например, шифрование в процессе вычислений – homomorphic encryption, чтобы обучать модель, не раскрывая данных).

Появление ИИ ставит вызов традиционной роли врача. Некоторые опасаются «замены врача машиной». На ближайшие годы это опасение скорее гипотетическое – ИИ пока что решает узкие задачи, но не ведет пациента комплексно. Однако определенное смещение функций происходит: рутинный анализ (например, расшифровка ЭЭГ) может полностью взять на себя алгоритм, а врач станет скорее проверяющим и консультантом. Это требует перестройки обучения медперсонала: новые врачи должны разбираться в основах работы ИИ, чтобы эффективно использовать и контролировать его.

Сопротивление изменениям – естественный барьер. Множество врачей все еще скептичны к ИИ. Чтобы ИИ был принят, он должен встраиваться в существующий рабочий процесс ненавязчиво и демонстрировать явную пользу.

Пока нет прецедентов, но вероятны судебные иски, связанные с ИИ. Например, если пациент считает, что ему навредили, потому что врач упустил что-то, доверившись ИИ, – может подать в суд.

Как избежать «размывания ответственности», когда врач может начать перекладывать вину на ИИ: “это не я ошибся, это компьютер”?

Прогнозы развития

Generative AI (генеративный ИИ) продолжит интегрироваться в здравоохранение. Ожидается появление медицинских LLM нового поколения, которые будут обучены на специализированных данных (учебники, клинические протоколы, литература) и смогут выступать в роли интеллектуальных ассистентов врача.

Прорывы в диагностики с помощью ИИ. Во многих областях ожидается достижение или превышение человеческого уровня точности. В некоторых направлениях это уже произошло – например, ИИ по ретинальным снимкам определяет диабетическую ретинопатию не хуже офтальмолога.

Персонализированная терапия и “виртуальные клинические испытания”. В онкологии уже начались исследования, где ИИ подбирает индивидуальные комбинации препаратов под молекулярный профиль опухоли – к 2025–2026 возможны первые доказательства, что такой подход улучшает исходы.

Широкое внедрение ИИ-ассистентов для пациентов. К 2025–2026 может стать привычным, что у человека есть персональный медицинский ассистент в смартфоне или умной колонке. Этот ИИ будет знать историю здоровья пользователя (с его разрешения), отслеживать данные с фитнес-браслета, результатов обследований, давать советы по образу жизни, напоминать про лекарства и заметив неладное – рекомендовать обратиться к врачу. Он сможет отвечать на вопросы о симптомах, но в более продвинутой форме, чем нынешние статичные приложения, – с диалогом, уточнением нюансов (то есть диалоговый GPT-врач под контролем). Конечно, это ставит вопросы ответственности и регулирования, но вероятно появление сертифицированных медицинских ботов-консультантов для населения. Это особенно перспективно для удаленных и слабо охваченных медобслуживанием регионов.


Думаю для поста достаточно, хотя это тезисы только примерно из половины документа)
Кому интересна тема - прочитайте полностью:
https://github.com/researchim-ai/state-of-ai/blob/main/Med_AI_research.md

Хочу сегодня ещё поделиться одной неудачей, чтобы не создавать иллюзорный образ красавчика и заодно рассказать как дела с проектом)

Мы сейчас с нашим стартапом проходим акселератор Сеченовского университета.
На прошлой неделе был отборочный демо-день.

Мы не прошли в финал и не сможем презентовать наш проект на итоговом демо-дне в Москве.

Я чувствую что проиграл.
Нет никаких оправданий и внешних причин.
Просто хреново подготовился.
Недостаточно сделали в плане проработки проекта в рамках акселератора.
Презентацию собрали в последние дни.
Думал что проскочим на том, что проект интересный, уже на высокой стадии готовности и близок к релизу.
Не прокатило.
Ну короче кроме себя винить некого.

Нужно относиться более требовательно к себе и команде.
Стараться двигаться быстрее и эффективнее.

Слышал такую фразу:
Успех - это умение двигаться от неудачи к неудаче без потери энтузиазма)

Поэтому делаем работу над ошибками и движемся дальше!

Готовим первую версию сайта нашего проекта Я здоров.

23-25 мая мы с компанией ASAP участвуем в качестве партнёров в ProductCamp.
На мероприятии также хотим первый раз презентовать проект - будет сайт с описанием функциола и предварительной регистрацией.

И потом за июнь постараемся подготовиться к запуску: доделать всё что запланировлаи для первой версии, оттестировать, добить юридические вопросы и безопастности данных.

Запустили первую версию сайта нашего проекта "Я здоров"!
https://yazapp.ru/

Проект пока не в релизе, но открыли предварительную регистрацию.
Буду рад любой обратной связи!

27 мая на DataFest выступаю в секции "Ужасы медицинских данных" с темой - "Кейс распознавания и структурирования данных медицинских бланков"

Я уже не раз рассказывал про то, как мы решаем эту задачу в нашей мед. карте и в феврале уже рассказывал такой доклад на митапе в Сириусе.

С тех пор ряд решений, на которые мы рассчитывали не сработали, мы попробовали новые решения, столкнулись с новыми сложными задачами, сгенерировали новые идеи!

В этот раз выступление онлайн и даже обещают запись.

Делюсь презентацией с сегодняшнего выступления на Datafest.

Небольшая выдержка из текста доклада про то, на каком этапе мы сейчас находимся в решении этого кейса и куда будем двигаться.

Главная сложность которая сейчас нас блокирует - это работа с дублями биомаркеров.
Нам нужно метчить распознное значение биомаркера с бланка со значениями и их синонимами в нашей базе.
Чтобы адекватно формировать историю изменения показателей биомаркера.
А не создавать каждый раз новый биомаркер, вместо привязки имеющегося.

Текстовый поиск с этим не справился.
Стандартный векторный поиск тоже не справился, потому что логика смысловой близости наименований биомаркеров не соответствует русскому и английскому языкам.
Можно сказать что для модели - наименования и синонимы биомаркеров - это "новый язык".

Мы хотим попробовать дообучить на этом "новом языке" эмбединговую модель векторного поиска на собранных наименованиях и синонимах.