«Спектрограмма» выглядит как чат-бот в формате виджета на сайте с возможностью записи аудиофайлов.
Тестирование происходит в игровой форме: под руководством родителей ребенок должен произнести предложенные фразы, а в это время ML-модель в автоматическом режиме определяет, произнесена ли фраза с дефектом.
Дальше информация перенаправляется логопеду, и он на основе заключения программы определяет, нужно ли ребенку вмешательство врача. Результаты тестирования отправляются родителям на почту.
Одна из сложностей в реализации проекта – отсутствие достаточного количества данных для обучения модели и сложная разметка данных для обучения нейросети. Поэтому вначале в качестве обучающих данных для улучшения точности модели мы использовали записи пользователей из виджета, которые на первом этапе обрабатывались логопедами полностью вручную.
«Когда мы общались с неврологами, мы определили вторую проблему, к которой можно применить наше ИИ-решение: в России много людей, которые пережили инсульт и восстанавливаются после него в течение нескольких лет. Очень важна фиксация прогресса – они приходят, произносят какую-то фразу, и через какое-то время нужно снова произнести эту фразу, чтобы врач понимал, есть ли улучшения или нужно менять терапию.»
Руководитель отдела digital «Герофарм»
«Как только пользователь записал и отправил аудиозапись, наша модель приступает к обработке, и через пару секунд результаты уже лежат в БД. В момент, когда логопед будет проверять анкету пользователя, подсказки от нашей модели уже будут у него перед глазами.
Классический подход масштабируемый под трафик. Мы решили, что модели будут меняться, и захочется прогнать все аудиозаписи уже с помощью новой модели: для этого предусмотрели специальный функционал, который это осуществляет. Объемы на данном этапе позволяют это, а в случае невероятного роста количества сообщений, мы сможем ограничиться лишь записями, например, за последний год.»