Математика и математическое моделирование. 2018; : 33-52
Методы построения пространства признаков сигнала ЭЭГ в гибридном интерфейсе «глаз-мозг-компьютер»
https://doi.org/10.24108/mathm.0218.0000118Аннотация
Гибридный интерфейс «глаз-мозг-компьютер» представляет собой новый подход к обеспечению человеко-машинного взаимодействия. В нем объект, интересующий пользователя, определяется по направлению взгляда, а намерение пользователя отдать команду идентифицируется путем регистрации и декодировании электрической активности мозга. Принцип работы интерфейса основан на том, что управляющие фиксации взгляда можно отличить от спонтанных фиксаций по сигналу электроэнцефалограммы (ЭЭГ).
В статье рассматриваем задачу распознавания паттернов сигнала ЭЭГ, соответствующих спонтанным и управляющим фиксациям взгляда. Исследуем возможность повышения точности распознавания за счет применения сравнительно новых методов построения признаков многомерных временных рядов. Данные методы включают поиск оптимальных частотных диапазонов многомерного сигнала и модифицированный метод шейплетов. Идея первого метода состоит в построении оптимального пространства признаков на основе априорной информации о различии частотных составляющих многомерного сигнала для разных классов. Второй метод реализует поиск с помощью генетического алгоритма таких фрагментов многомерных временных рядов, которые максимально отражают свойства одного или нескольких классов этих рядов. Признаковое описание временных рядов при этом формируется путем вычисления расстояний от них до набора из k лучших найденных фрагментов (шейплетов).
Статья состоит из пяти разделов. В первом разделе рассматриваем математическую постановку задачи классификации многомерных временных рядов. Во втором разделе приводим формальное описание предлагаемых методов построения признаков. В третьем разделе даем описание тестовых данных, в качестве которых используем записи ЭЭГ, полученные при работе шести пользователей с гибридным интерфейсом «глаз-мозг-компьютер». В четвертом разделе исследуем эффективность предлагаемых методов по сравнению с рядом других подходов к формированию признаков, к которым относятся:
1) расчет усредненных значений амплитуды сигнала в перекрывающихся окнах; 2) оценка энергии сигнала в заданных частотных диапазонах; 3) отбор наиболее информативных признаков с помощью генетического алгоритма. В пятом разделе проводим статистический анализ полученных результатов. Показано, что метод формирования признаков, основанный на поиске оптимальных частотных диапазонов многомерного сигнала ЭЭГ, по эффективности значимо превосходит другие рассмотренные методы, открывая, таким образом, возможность для сокращения числа ложных срабатываний интерфейса.
Список литературы
1. Ihme K., Zander T.O. What you expect is what you get? Potential use of contingent negative variation for passive BCI systems in gaze-based HCI // Affective computing and intelligent interaction: AII 2011. B.; Hdbl.: Springer, 2011. Pp. 447–456. DOI: 10.1007/978-3-642-24571-8_57
2. Protzak J., Ihme K., Zander T.O. A passive brain-computer interface for supporting gaze-based human-machine interaction // Universal access in human-computer interaction. Design methods, tools and interaction techniques for eInclusion: UAHCI 2013. Pt. 1. B.; Hdbl.: Springer, 2013. Pp. 662–671. DOI: 10.1007/978-3-642-39188-0_71
3. Shishkin S.L., Nuzhdin Yu.O., Svirin E.P., Trofimov A.G., Fedorova A.A., Kozyrskiy B.L., Velichkovsky B.M. EEG negativity in fixations used for gaze-based control: Toward converting intentions into actions with an eye-brain-computer interface // Frontiers in Neuroscience. 2016. Vol. 10. P. 528. DOI: 10.3389/fnins.2016.00528
4. Шишкин С.Л., Козырский Б.Л., Трофимов А.Г., Нуждин Ю.О., Федорова А.А., Свирин Е.П., Величковский Б.М. Улучшение работы интерфейса глаз–мозг–компьютер при использовании частотных компонентов ЭЭГ // Вестник Российского гос. медицинского ун-та (РГМУ). 2016. № 2. С. 36-41. DOI: 10.24075/brsmu.2016-02-05
5. Young-Seon Jeong, Myong K. Jeong, Olufemi A. Omitaomu. Weighted dynamic time warping for time series classification // Pattern Recognition. 2011. Vol. 44. No. 9. Pp. 2231-2240. DOI: 10.1016/j.patcog.2010.09.022
6. Fulcher B.D. Feature-based time-series analysis. Режим доступа: https://arxiv.org/pdf/1709.08055v2 (дата обращения 6.06.2018).
7. Vasimalla K. A survey on time series data mining // Intern. J. of Innovative Research in Computer and Communication Engineering. 2014. Vol. 2. Spec. iss. 5. Pp. 170-179.
8. Esmael B., Arnaout A., Fruhwirth R.K., Thonhauser G. Improving time series classification using hidden Markov models // 12th intern. conf. on hybrid intelligent systems: HIS 2012 (Pune, India, December 4-7, 2012): Proc. N.Y.: IEEE, 2012. Pp. 502-507. DOI: 10.1109/HIS.2012.6421385
9. Zhengping Che, Sanjay Purushotham, Kuynghyun Cho, Sontag D., Yan Liu. Recurrent neural networks for multivariate time series with missing values // Nature. Scientific Reports. 2018. Vol. 8. No. 1. Article 6085. 14 p. DOI:10.1038/s41598-018-24271-9
10. Bin He, Shangkai Gao, Han Yuan, Wolpaw J.R. Brain-computer interfaces // Neural engineering. 2nd ed. N.Y.: Springer, 2013. Chapter 2. Pp. 87-151. DOI: 10.1007/978-1-4614-5227-0_2
11. Сотников П.И. Выбор оптимальных частотных диапазонов сигнала электроэнцефалограммы в интерфейсе мозг-компьютер // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 6. С. 217-234. DOI: 10.7463/0615.0778091
12. Карпенко А.П., Кострубин М.С., Чернышев А.С. Эффективность классификации многомерных временных рядов с помощью шейплетов // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 11. С. 382-405. DOI: 10.7463/1115.0827396
13. Lexiang Ye, Eamonn Keogh. Time series shapelets: a new primitive for data mining // 15th ACM SIGKDD intern. conf. on knowledge discovery and data mining: KDD 2009 (Paris, France, June 28 – July 01, 2009): Proc. N.Y.: ACM Press, 2009. Pp. 947 - 956. DOI: 10.1145/1557019.1557122
14. Карпенко А.П., Сотников П.И. Модифицированный метод классификации многомерных временных рядов с использованием шейплетов // Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 2. С. 46-65. DOI: 10.18698/0236-3933-2017-2-46-65
15. Anand A., Pugalenthi G., Fogel G.B., Suganthan P.N. An approach for classification of highly imbalanced data using weighting and undersampling // Amino Acids. 2010. Vol. 39. No. 5. Pp. 1385–1391. DOI: 10.1007/s00726-010-0595-2
16. Унгуряну Т.Н., Гржибовский А.М. Краткие рекомендации по описанию, статистическому анализу и представлению данных в научных публикациях // Экология человека. 2011. № 5. С. 55-60.
Mathematics and Mathematical Modeling. 2018; : 33-52
Feature Construction Methods for the Electroencephalogram Signal Analysis in Hybrid “Eye-Brain-Computer” Interface
https://doi.org/10.24108/mathm.0218.0000118Abstract
The hybrid “eye-brain-computer” interface is a new approach to the human-machine interaction. It allows the user to select an object of interest on a screen by tracking the user’s gaze direction. At the same time, the user’s intent to give a command is determined by registering and decoding brain activity. The interface operation is based on the fact that control gaze fixations can be distinguished from spontaneous fixations using electroencephalogram (EEG) signal.
The article discusses the recognition of EEG patterns that correspond to the spontaneous and control gaze fixations. To improve the classification accuracy, we suggest using the relatively new feature construction methods for time series analysis. These methods include a selection of optimal frequency bands of the multivariate EEG signal and a modified method of shapelets. The first method constructs the optimal feature space using prior information on a difference in frequency components of the multivariate signal for different classes. The second method uses a genetic algorithm to provide selecting such fragments of the multivariate time-series, which reflect as much as possible the properties of one or more than one class of such time series. Thus, calculating distances between them and a set of k top-best shapelets allows us to provide feature description of the time series.
The article consists of five sections. The first one provides a mathematical formulation of the multivariate time-series classification problem. The second section gives a formal description of the proposed methods for feature construction. The third section describes test data, which include the EEG records from the six users of the hybrid “eye-brain-computer” interface. In the fourth section, we evaluate an efficiency of the methods proposed in comparison with other known feature extraction techniques, which include: 1) calculation of the average EEG amplitude values in the overlapping windows; 2) estimation of the power spectral density in the specified frequency bands; 3) selection of the most informative features using a genetic algorithm. In the fifth section, we conduct the statistical analysis of the results obtained. It is shown that the feature construction method, based on the selection of optimal frequency bands of the EEG signal, in efficiency significantly outperforms other techniques considered and opens up the possibility to reduce the number of false positives of the hybrid interface.
References
1. Ihme K., Zander T.O. What you expect is what you get? Potential use of contingent negative variation for passive BCI systems in gaze-based HCI // Affective computing and intelligent interaction: AII 2011. B.; Hdbl.: Springer, 2011. Pp. 447–456. DOI: 10.1007/978-3-642-24571-8_57
2. Protzak J., Ihme K., Zander T.O. A passive brain-computer interface for supporting gaze-based human-machine interaction // Universal access in human-computer interaction. Design methods, tools and interaction techniques for eInclusion: UAHCI 2013. Pt. 1. B.; Hdbl.: Springer, 2013. Pp. 662–671. DOI: 10.1007/978-3-642-39188-0_71
3. Shishkin S.L., Nuzhdin Yu.O., Svirin E.P., Trofimov A.G., Fedorova A.A., Kozyrskiy B.L., Velichkovsky B.M. EEG negativity in fixations used for gaze-based control: Toward converting intentions into actions with an eye-brain-computer interface // Frontiers in Neuroscience. 2016. Vol. 10. P. 528. DOI: 10.3389/fnins.2016.00528
4. Shishkin S.L., Kozyrskii B.L., Trofimov A.G., Nuzhdin Yu.O., Fedorova A.A., Svirin E.P., Velichkovskii B.M. Uluchshenie raboty interfeĭsa glaz–mozg–komp'yuter pri ispol'zovanii chastotnykh komponentov EEG // Vestnik Rossiiskogo gos. meditsinskogo un-ta (RGMU). 2016. № 2. S. 36-41. DOI: 10.24075/brsmu.2016-02-05
5. Young-Seon Jeong, Myong K. Jeong, Olufemi A. Omitaomu. Weighted dynamic time warping for time series classification // Pattern Recognition. 2011. Vol. 44. No. 9. Pp. 2231-2240. DOI: 10.1016/j.patcog.2010.09.022
6. Fulcher B.D. Feature-based time-series analysis. Rezhim dostupa: https://arxiv.org/pdf/1709.08055v2 (data obrashcheniya 6.06.2018).
7. Vasimalla K. A survey on time series data mining // Intern. J. of Innovative Research in Computer and Communication Engineering. 2014. Vol. 2. Spec. iss. 5. Pp. 170-179.
8. Esmael B., Arnaout A., Fruhwirth R.K., Thonhauser G. Improving time series classification using hidden Markov models // 12th intern. conf. on hybrid intelligent systems: HIS 2012 (Pune, India, December 4-7, 2012): Proc. N.Y.: IEEE, 2012. Pp. 502-507. DOI: 10.1109/HIS.2012.6421385
9. Zhengping Che, Sanjay Purushotham, Kuynghyun Cho, Sontag D., Yan Liu. Recurrent neural networks for multivariate time series with missing values // Nature. Scientific Reports. 2018. Vol. 8. No. 1. Article 6085. 14 p. DOI:10.1038/s41598-018-24271-9
10. Bin He, Shangkai Gao, Han Yuan, Wolpaw J.R. Brain-computer interfaces // Neural engineering. 2nd ed. N.Y.: Springer, 2013. Chapter 2. Pp. 87-151. DOI: 10.1007/978-1-4614-5227-0_2
11. Sotnikov P.I. Vybor optimal'nykh chastotnykh diapazonov signala elektroentsefalogrammy v interfeise mozg-komp'yuter // Nauka i obrazovanie. MGTU im. N.E. Baumana. Elektron. zhurn. 2015. № 6. S. 217-234. DOI: 10.7463/0615.0778091
12. Karpenko A.P., Kostrubin M.S., Chernyshev A.S. Effektivnost' klassifikatsii mnogomernykh vremennykh ryadov s pomoshch'yu sheipletov // Nauka i obrazovanie. MGTU im. N.E. Baumana. Elektron. zhurn. 2015. № 11. S. 382-405. DOI: 10.7463/1115.0827396
13. Lexiang Ye, Eamonn Keogh. Time series shapelets: a new primitive for data mining // 15th ACM SIGKDD intern. conf. on knowledge discovery and data mining: KDD 2009 (Paris, France, June 28 – July 01, 2009): Proc. N.Y.: ACM Press, 2009. Pp. 947 - 956. DOI: 10.1145/1557019.1557122
14. Karpenko A.P., Sotnikov P.I. Modifitsirovannyi metod klassifikatsii mnogomernykh vremennykh ryadov s ispol'zovaniem sheipletov // Vestnik MGTU im. N.E. Baumana. Ser. Priborostroenie. 2017. № 2. S. 46-65. DOI: 10.18698/0236-3933-2017-2-46-65
15. Anand A., Pugalenthi G., Fogel G.B., Suganthan P.N. An approach for classification of highly imbalanced data using weighting and undersampling // Amino Acids. 2010. Vol. 39. No. 5. Pp. 1385–1391. DOI: 10.1007/s00726-010-0595-2
16. Unguryanu T.N., Grzhibovskii A.M. Kratkie rekomendatsii po opisaniyu, statisticheskomu analizu i predstavleniyu dannykh v nauchnykh publikatsiyakh // Ekologiya cheloveka. 2011. № 5. S. 55-60.
