contact@jetteam.dev
Компетенции и кейсы/Данные, ML и компьютерное зрение
открытыйASR · LLM · медицина

Транскрипция и анализ медицинских анамнезов

Веб-сервис и REST API для автоматического сбора, расшифровки и структурирования анамнеза пациентов по голосовым записям. Решение внедрено в медицинском центре «УГМК-Здоровье» для подготовки оперативных выжимок врачам-специалистам.

3модели распознавания речи в каскаде: при сбое одной приём не останавливается

Контекст

Сбор анамнеза отнимает время приёма, а записи в свободной форме потом трудно использовать.

Распознавание речи в медицинском контексте не может зависеть от одной модели: при сбое или деградации качества система переключается на резервную.

схема

Каскад распознавания и разбор

ГОЛОС ВРАЧАзапись приёмаКАСКАД РАСПОЗНАВАНИЯ: ПРИ СБОЕ МОДЕЛЬ ПЕРЕКЛЮЧАЕТСЯ НА СЛЕДУЮЩУЮWHISPERосновнаясбойCHIRPпервый резервсбойPARAKEETвторой резервТЕКСТрасшифровкаИЗВЛЕЧЕНИЕ ДАННЫХ LLMжалобы · длительность · лекарства · анамнезRed flagsSummary врачуREST API клиникиСбои каскада и качество распознавания уходят в мониторинг с оповещением в Telegram.
Отказоустойчивость здесь важнее максимального качества одной модели: приём нельзя остановить из-за недоступности сервиса, поэтому каскад переключается автоматически, а сбои уходят в мониторинг.
из проекта

Интерфейс сервиса

Форма опроса пациента: вопрос задаётся текстом, ответ записывается голосом и расшифровывается сервисом.
Форма опроса пациента: вопрос задаётся текстом, ответ записывается голосом и расшифровывается сервисом.

Что входило в задачи

  • Каскад распознаванияWhisper, Chirp, Parakeet: при сбое одной модели приём не останавливается
  • Извлечение LLMжалобы, длительность, принятые лекарства, анамнез и тревожные симптомы из свободной речи
  • Выжимка для врачаструктурированный результат вместо расшифровки на две страницы
  • REST APIинтеграция с сайтом и системами клиники, защита по ключам и лимиты запросов
  • Веб-формы опросавопросы подстраиваются под пол пациента
  • Мониторингсбои уходят в Telegram круглосуточно – до того как их заметит врач

Стек проекта

PythonWhisperChirpParakeetLLMFastAPIPostgreSQLTelegram API

Есть похожая задача?

contact@jetteam.dev