Рассмотрены проблемы внедрения систем с голосовым интерфейсом для дистанционного обслуживания населения. Эффективность таких систем может быть повышена за счёт автоматического анализа изменений эмоционального состояния пользователя в ходе диалога. Для измерений показателя динамики эмоционального состояния в режиме реального времени предложено использовать эффект звуковой (фонетической) вариативности речи пользователя на интервалах наблюдений небольшой (доли минуты) длительности. На основе теоретико-информационного подхода разработан метод акустических измерений динамики эмоционального состояния в условиях малых выборок с использованием масштабноинвариантой меры вариаций речевого сигнала в частотной области. Рассмотрен пример практической реализации данного метода в режиме мягкого реального времени. Показано, что в данном случае задержка получения результатов измерений не превышает 10–20 с. Результаты экспериментальных исследований подтвердили высокое быстродействие предложенного метода и его чувствительность к изменениям динамики эмоционального состояния под действием внешних возмущений. Разработанный метод можно использовать при внедрении автоматизированного контроля качества голосовых образцов пользователей единых биометрических систем. Также метод будет полезен для повышения безопасности путём бесконтактного выявления потенциально опасных лиц с краткосрочным нарушением психоэмоционального состояния.

1. Davis S. K. et al., Personality and Individual Differences, 2020, vol. 160, no. 109938. https://doi.org/10.1016/j.paid.2020.109938

2. Савченко В. В., Савченко А. В. Способ обновления голосовых образцов в Единой биометрической системе в режиме реального времени // Измерительная техника. 2020. № 5. C. 58–65. https://doi.org/10.32446/0368-1025it.2020-5-58-65

3. Савченко В. В., Савченко А. В. Метод измерений показателя акустического качества аудиозаписей, подготовленных для регистрации и обработки в Единой биометрической системе // Измерительная техника. 2019. № 12. С. 40–47. https://doi.org/10.32446/0368-1025it.2019-12-40-46

4. Галяшина Е. И. Актуальные проблемы идентификации лиц по фонограммам телефонных переговоров // Сборник материалов XXIII международной научно-практической конференции «Деятельность правоохранительных органов в современных условиях». В 2-х томах. Восточно-Сибирский институт Министерства внутренних дел Российской Федерации. Иркутск, 2018. С. 141–146. URL: https://istina.msu.ru/ publications/article/167326015 (дата обращения: 14.08.2020).

5. Falagiarda F., Collignon O., Cortex, 2019, vol. 119, рр. 184– 194. https://doi.org/10.1016/j.cortex.2019.04.017

6. Akbulut F. P., Perros H. G., Shahzad M., Computer Methods and Programs in Biomedicine, 2020, vol. 195, no. 105571. https://doi.org/10.1016/j.cmpb.2020.105571

7. Shaqra F. A., Duwairi R., Al-Ayyoub M., Procedia Computer Science, 2019, vol. 151, рр. 37–44. https://doi.org/10.1016/j.procs.2019.04.009

8. Arana J. M. et al., Computers in Human Behavior, 2020, vol. 104, no. 106156. https://doi.org/10.1016/j.chb.2019.106156

9. Bourguignon M. et al., NeuroImage, 2020, vol. 216, no. 116788. https://doi.org/10.1016/j.neuroimage.2020.116788

10. Liu Z. et al., Brain and Language, 2020, vol. 203, no. 104755. https://doi.org/10.1016/j.bandl.2020.104755

11. Schuller B., Voice and Speech Analysis in Search of States and Traits, in: Salah A. A., Gevers T. (eds.) Computer Analisis of Human Behavior, Springer, Heidelberg, 2011, 227 p. https://doi.org/10.1007/978-0-85729-994-9_9

12. Cardona D. et al., Neurocomputing, 2017, vol. 265, рр. 78– 90. https://doi.org/10.1016/j.neucom.2016.09.140

13. Yu D., Deng L., Automatic Speech Recognition: A Deep Learning Approach, Springer, 2014, 321 p. https://doi.org/10.1007/978-1-4471-5779-3

14. Schuster M., Lecture Notes in Computer Science, 2010, vol. 6230, рр. 8–10. https://doi.org/10.1007/978-3-642-15246-7_3

15. Rammohan R. et al., Journal of Allergy and Clinical Immunology, 2017, vol. 139, iss. 2, no. ab250. https://doi.org/10.1016/j.jaci.2016.12.804

16. Володин Н. А., Ермоленко Т. В., Семенюк В. В. Исследование эффективности применения нейронных сетей для распознавания эмоций человека по голосу // В сборнике: Донецкие чтения 2019: образование, наука, инновации, культура и вызовы современности. Материалы IV Международной научной конференции. 2019. С. 221–223. URL: https://elibrary.ru/ download/elibrary_41422521_75290048.pdf (дата обращения: 14.08.2020).

17. Grachev A. M., Ignatov D. I., Savchenko A. V., Applied Soft Computing, 2019, vol. 79, рр. 354–362. https://doi.org/10.1016/j.asoc.2019.03.057

18. Устинов Р. А. Особенности современных систем защиты речевой информации. Безопасность информационных технологий. [Электрон. журнал]. 2017. Т. 24. № 4. https://doi.org/10.26583/bit.2017.4.08

19. Cui S., Li E., Kang X., Autoregressive model based smoothing forensics of very short speech clips, 2020 IEEE International Conference on Multimedia and Expo (ICME), London, United Kingdom, 2020, рр. 1–6. https://doi.org/10.1109/ICME46284.2020.9102765

20. Savchenko V. V., Radioelectronics and Communications Systems, 2020, vol. 63, no 1, рр. 42–54. https://doi.org/10.3103/S0735272720010045

21. Савченко В. В., Савченко А. В. Критерий гарантированного уровня значимости в задаче автоматической сегментации речевого сигнала // Радиотехника и электроника. 2020. Т. 65. № 11. С. 1060–1066. https://doi.org/10.31857/S0033849420110157

22. Hautamäki R. G. et al., Speech Communication, 2017, vol. 95, рр. 1–15. https://doi.org/10.1016/j.specom.2017.10.002

23. Лебедева Н. Н., Каримова Е. Д. Акустические характеристики речевого сигнала как показатель функционального состояния человека // Успехи физиологических наук. 2014. Т. 45. № 1. С. 57–95. URL: http://naukarus.com/akusticheskieharakteristiki-rechevogo-signala-kak-pokazatel-funktsionalnogosostoyaniya-cheloveka (дата обращения: 14.08.2020).

24. Savchenko V. V., Journal of Communications Technology and Electronics, 2018, vol. 63, no. 1, рр. 53–57. https://doi.org/10.1134/S1064226918010126

25. Savchenko A. V., Savchenko V. V., Journal of Communications Technology and Electronics, 2016, vol. 61, no. 4, рр. 430–435. https://doi.org/10.1134/S1064226916040112

26. Савченко В. В. Метод измерения показателя акустического качества речи на основе теоретико-информационного подхода // Измерительная техника. 2018. № 1. С. 60–64. https://doi.org/10.32446/0368-1025it.2018-1-60-64

27. Савченко В. В., Савченко Л. В. Метод измерений показателя разборчивости речевого сигнала в информационной метрике Кульбака-Лейблера // Измерительная техника. 2019. № 9. С. 59–64. https://doi.org/10.32446/0368-1025it.2019-9-59-64

28. Savchenko L. V., Savchenko A. V., Journal of Communications Technology and Electronics, 2019, vol. 64, no. 3, рр. 238–244. https://doi.org/10.1134/S1064226919030173

29. Савченко А. В., Савченко В. В. Метод измерения частоты основного тона речевого сигнала для систем акустического анализа речи // Измерительная техника. 2019. № 3. С. 59–63. https://doi.org/10.32446/0368-1025it.2019-3-59-63

30. Savchenko A. V., Sequential Three-Way Decisions in Efficient Classification of Piecewise Stationary Speech Signals, in: Polkowski L. et al. (eds) Rough Sets. IJCRS 2017. Lecture Notes in Computer Science, 2017, vol. 10314, Springer, Cham. https://doi.org/10.1007/978-3-319-60840-2_19

31. Kullback S., Information Theory and Statistics, N. Y., Dover Publications, 1997, 432 p. URL: https://www.amazon.com// dp/0486696847 (дата обращения: 14.08.2020).

32. Gray R. M. et al., IEEE Transactions on Signal Processing, 1980, vol. 28, no. 4, рр. 367–377. https://doi.org/10.1109/TASSP.1980.1163421

33. Savchenko A. V., Savchenko V. V., Savchenko L. V., Optimization of Gain in Symmetrized Itakura-Saito Discrimination for Pronunciation Learning, in: Kononov A., Khachay M., Kalyagin V., Pardalos P. (eds), Mathematical Optimization Theory and Operations Research. MOTOR 2020, Lecture Notes in Computer Science, 2020, vol. 12095, Springer, Cham. https://doi.org/10.1007/978-3-030-49988-4_30

34. Vestman V. et al., Speech Communication, 2018, vol. 99, рр. 62–79. https://doi.org/10.1016/j.specom.2018.02.009

35. Candan Ç., Signal Processing, 2020, vol. 166, no. 107256. https://doi.org/10.1016/j.sigpro.2019.107256

36. Tuncel K. S., Baydogan M. G., Pattern Recognition, 2018, vol. 73, рр. 202–215. https://doi.org/10.1016/j.patcog.2017.08.016

37. Savchenko V. V., Savchenko А. V., Radioelectronics and Communications Systems, 2019, vol. 62, рр. 276–286. https://doi.org/10.3103/S0735272719050042

38. Marple S. L., Digital Spectral Analysis with Applications, 2nd ed. Mineola, New York, Dover Publications, 2019, 432 p. URL: https://www.goodreads.com/book/show/19484239 (дата обращения: 14.08.2020).

In this paper we consider the issues in implementations of interactive voice response systems with remote access. Their efficiency can be improved by automatically analyzing changes in the user's emotional state during the dialogue. In order to measure the indicator of the dynamics of the emotional statein real time, it is proposed to use the effect of sound (phonetic) variability of the user's speech at short intervals (fractions of a minute). The novel method of acoustic measurements in conditions of small samples has been developed based on information-theoretic approach by using a scale-invariant gain-optimized dissimilarity measure of the speech signals in the frequency domain. An example of its practical implementation in soft real time is considered. It is shown that the delay in obtaining the measurement results does not exceed in this case 10–20 sec. The experimental results confirmed the high speed of the proposed method and its sensitivity to changes in the emotional state under the influence of external noise. The proposed method can be used for automated quality control of voice samples of users in unified biometric systems, as well as to improve safety by non-contact identification of potentially dangerous persons with short-term psycho-emotional disorders.