Разработка ИИ-логопеда для диагностики дефектов речи у детей

азработку российской фарм компании «Герофарм»

Клиент

«Герофарм» — российская фармацевтическая компания, входит в ТОП-20 ведущих российских фармацевтических производителей

Контекст

Проблемы с произношением есть у каждого второго школьника, утверждают логопеды. Их можно устранить на раннем этапе, но часто сложности списывают на детский возраст, а когда дефекты речи становятся очевидны, исправить их сложно.

Чтобы бороться со страхами и стереотипами о когнитивном развитии, Герофарм запустила портал ПРО.МОЗГ, на котором можно прочитать полезные и доступные материалы о том, как работает мозг, как «действуют» болезни и меняется организм.

Задача

Разработать сервис, который помогает родителям в игровом формате протестировать ребенка и определить, есть ли у него дефекты речи.

Разработать сервис, который помогает родителям в игровом формате протестировать ребенка и определить, есть ли у него дефекты речи.
Подтвержденный экспертным сообществом — все задания должны быть подготовлены совместно с профессиональными врачами
Автоматизированный инструмент с высоким качеством первичной консультации пациентов

Решение

Спектрограмма — сервис удаленной диагностики деффектов речи у детей в возрасте от 2 до 6 лет, осуществляющий диагностику с помощью алгоритмов машинного обучения, которая валидируется профессиональными логопедами.

Одна из сложностей в реализации проекта – отсутствие достаточного количества данных для обучения модели и сложная разметка данных для обучения нейросети. Поэтому вначале в качестве обучающих данных для улучшения точности модели мы использовали записи пользователей из виджета, которые на первом этапе обрабатывались логопедами полностью вручную.

«Спектрограмма» выглядит как чат-бот в формате виджета на сайте с возможностью записи аудиофайлов.

Тестирование происходит в игровой форме: под руководством родителей ребенок должен произнести предложенные фразы, а в это время ML-модель в автоматическом режиме определяет, произнесена ли фраза с дефектом.

Дальше информация перенаправляется логопеду, и он на основе заключения программы определяет, нужно ли ребенку вмешательство врача. Результаты тестирования отправляются родителям на почту.

Дмитрий Пухов

CTO Cleverbots

«Как только пользователь записал и отправил аудиозапись, наша модель приступает к обработке, и через пару секунд результаты уже лежат в БД. В момент, когда логопед будет проверять анкету пользователя, подсказки от нашей модели уже будут у него перед глазами.

Классический подход масштабируемый под трафик. Мы решили, что модели будут меняться, и захочется прогнать все аудиозаписи уже с помощью новой модели: для этого предусмотрели специальный функционал, который это осуществляет. Объемы на данном этапе позволяют это, а в случае невероятного роста количества сообщений, мы сможем ограничиться лишь записями, например, за последний год.»

Светлана Науменко

Руководитель отдела digital «Герофарм»

«Когда мы общались с неврологами, мы определили вторую проблему, к которой можно применить наше ИИ-решение: в России много людей, которые пережили инсульт и восстанавливаются после него в течение нескольких лет. Очень важна фиксация прогресса – они приходят, произносят какую-то фразу, и через какое-то время нужно снова произнести эту фразу, чтобы врач понимал, есть ли улучшения или нужно менять терапию.»