Паралингвистические характеристики речи человека как маркер утомления

Утомление характеризуется неспецифическими изменениями физиологических и психических функций, снижением работоспособности и развитием субъективного ощущения усталости, как при физической, так и умственной нагрузки. Утомление может оказывать влияние на характеристики речи работника, поэтому определение признаков утомления на основании анализа речи представляет отдельный интерес. Целью исследования явился поиск речевых предикторов утомления работника в ходе его трудовой деятельности. 

На первом этапе использована модель физического утомления (кардиореспираторный тест с физической нагрузкой). Перед началом и после нагрузки добровольцы зачитывали набор стандартных текстов. Полученную базу речевых записей анализировали с использованием глубокой нейронной сети. Нейронная сеть в 69% случаев успешно распознала состояния человека «утомлен»-«не утомлен» по его голосу. Таким образом, речевой сигнал может быть использован для оценки утомления. В то же время нейросетевые алгоритмы не позволяют сказать, изменение каких именно характеристик речи свидетельствует о развитии утомления. Поэтому на втором этапе был проведен анализ паралингвистических характеристик речи (темп, тембр, громкость, мелодика речи и т.д.). Для формирования набора данных использована модель операторской работы, основанная на сложной реакции на движущиеся объекты. Аудиозаписи речи операторов обрабатывали с использованием программной библиотеки OpenSMILE с последующей статистической обработкой. По результатам анализа выделено 13 параметров речи, статистически значимо изменившихся по завершении тестирования. К ним относились частотные характеристики нулевой и побочных формант, характеристики громкости и спектра речевого сигнала. 

Анализ паралингвистических характеристик речи с использованием статистических методов и машинного обучения позволяет разработать алгоритмы и средства мониторинга развития утомления у человека без вмешательства в его работу.