Математика и математическое моделирование. 2020; : 33-44
Сравнительный анализ методов нахождения М-оценок параметров экспоненциальной авторегрессии
https://doi.org/10.24108/mathm.0520.0000224Аннотация
Модель экспоненциальной авторегрессии является дискретным аналогом нелинейных дифференциальных уравнений второго порядка типа типа осцилляторов Дуффинга и ван дер Поля. Она используется для описания нелинейных стохастических процессов с дискретным временем, таких как вибрации автомобиля, качка корабля, электрические сигналы в коре головного мозга. При применении модели на практике одной из важных задач является ее идентификация, в частности, оценивание параметров модели по наблюдениям описываемого ей стохастического процесса. Традиционным методом оценивания авторегрессионных параметров является нелинейный метод наименьших квадратов. Его недостатком является высокая чувствительность к ошибкам измерения наблюдаемого процесса. Этого недостатка в значительной мере лишен метод М-оценивания. Построение М-оценок основано на минимизационной процедуре невыпуклой функции нескольких переменных. В работе изучается эффективность нескольких известных методов минимизации для нахождения М-оценок параметров экспоненциальной авторегрессионной модели. В работе показано, что наилучшую и приблизительно одинаковую точность показали алгоритм последовательного квадратичного программирования, алгоритм активного набора и алгоритм внутренней точки. Не уступая им по времени немного уступает им по точности квазиньютоновский алгоритм. Эти алгоритмы имели приблизительно одинаковое быстродействие и были в полтора раза быстрее алгоритма Нелдера-Мида и в 14 раз быстрее генетического алгоритма. Наихудшую точность показали алгоритм Нелдера-Мида и генетический алгоритм. Было обнаружено, что все алгоритмы чувствительны к начальным условиям. Параметры, от которых авторегресионное уравнение зависит линейно, оцениваются на порядок точнее параметра, от которого уравнение авторегресии зависит нелинейным образом.
Список литературы
1. Ozaki T., Oda H. Non-linear time series model identification by Akaike’s information criterion // IFAC Proc. Volumes. 1977. Vol. 10, no. 12. Pp. 83–91. DOI: 10.1016/S1474-6670(17)66563-7
2. Ozaki T. Non-linear time series models for non-linear random vibrations // J. of Applied Probability. 1980. Vol. 17, no. 1. Pp. 84–93. DOI: 10.2307/3212926
3. Haggan V., Ozaki T. Modelling nonlinear random vibrations using an amplitude-dependent autoregressive time series model // Biometrika. 1981. Vol. 68, no. 1. Pp. 189–196. DOI: 10.1093/biomet/68.1.189
4. Ozaki T. The statistical analysis of perturbed limit cycle processes using nonlinear time series models // J. of Time Series Analysis. 1982. Vol. 3, no. 1. Pp. 29–41. DOI: 10.1111/j.1467-9892.1982.tb00328.x1982.tb00328.x
5. Goryainov A.V., Goryainov V.B., Khing W.M. Robust identification of an exponential autoregressive model // Herald of the Bauman Moscow State Technical Univ. Ser. Natural Sciences. 2020. No. 4. Pp. 42–57. DOI: 10.18698/1812-3368-2020-4-42-57
6. Maronna R.A., Martin R.D., Yohai V.J., Salibián-Barrera M. Robust Statistics: Theory and Methods (with R). Hoboken: Wiley, 2019. 430 p.
7. Shi Z., Tamura Y., Ozaki T. Monitoring the stability of BWR oscillation by nonlinear time series modeling // Annals of Nuclear Energy. 2001. Vol. 28, no. 10. Pp. 953–966. DOI: 10.1016/S0306-4549(00)00099-2
8. Nelder J.A., Mead R. A simplex method for function minimization // The Computer J. 1965. Vol. 7, no. 4. Pp. 308–313. DOI: 10.1093/comjnl.7.4.308
9. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация: пер. с англ. М.: Мир, 1985. 509 с. [Gill P.E., Murray W., Wright M.H. Practical optimization. L.; N.Y.: Academic Press, 1981. 401 p.].
10. Lagarias J.C., Reeds J.A., Wright M.H., Wright P.E. Convergence properties of the Nelder-Mead simplex method in low dimensions // SIAM J. of Optimisation. 1998. Vol. 9, no. 1. Pp. 112–147. DOI: 10.1137/S1052623496303470
11. Дэннис Дж. мл., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений: пер. с англ. М.: Мир, 1998. 440 с. [Dennis J.E. jr., Schnabel R.B. Numerical methods for unconstrained optimization and nonlinear equations. Englewood Cliffs, N.Y.: Prentice-Hall, 1983. 395 p.]
12. Васильев Ф.П. Методы оптимизации. М.: Факториал Пресс, 2002. 829 с.
13. Аттетков А.В., Зарубин В.С., Канатников А.Н. Введение в методы оптимизации. М.: Финансы и статистика, 2011. 272 с.
14. Powell M.J.D. A Fast Algorithm for Nonlinearly Constrained Optimization Calculations // Watson G.A., ed. Numerical analysis. Springer, 1978. 203 p. Pp. 144–157. DOI: 10.1007/BFb0067703
15. Goldberg D.E. Genetic Algorithms in Search, Optimization and Machine Learning. N.-Y.: Addison-Wesley, 1989. 372 p.
16. Карпенко А.П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой. М.: Изд-во МГТУ им. Н.Э. Баумана, 2017. 446 с.
Mathematics and Mathematical Modeling. 2020; : 33-44
Comparison of Classical and Robust Estimates of Threshold Auto-regression Parameters
https://doi.org/10.24108/mathm.0520.0000224Abstract
The exponential auto-regression model is a discrete analog of the second-order nonlinear differential equations of the type of Duffing and van der Pol oscillators. It is used to describe nonlinear stochastic processes with discrete time, such as vehicle vibrations, ship roll, electrical signals in the cerebral cortex. When applying the model in practice, one of the important tasks is its identification, in particular, an estimate of the model parameters from observations of the stochastic process it described. A traditional technique to estimate autoregressive parameters is the nonlinear least squares method. Its disadvantage is high sensitivity to the measurement errors of the process observed. The M-estimate method largely has no such a drawback. The M-estimates are based on the minimization procedure of a non-convex function of several variables. The paper studies the effectiveness of several well-known minimization methods to find the M-estimates of the parameters of an exponential autoregressive model. The paper demonstrates that the sequential quadratic programming algorithm, the active set algorithm, and the interior-point algorithm have shown the best and approximately the same accuracy. The quasi-Newton algorithm is inferior to them in accuracy a little bit, but is not inferior in time. These algorithms had approximately the same speed and were one and a half times faster than the Nelder-Mead algorithm and 14 times faster than the genetic algorithm. The Nelder-Mead algorithm and the genetic algorithm have shown the worst accuracy. It was found that all the algorithms are sensitive to initial conditions. The estimate of parameters, on which the autoregressive equation linearly depends, is by an order of magnitude more accurate than that of the parameter on which the auto-regression equation depends in a nonlinear way.
References
1. Ozaki T., Oda H. Non-linear time series model identification by Akaike’s information criterion // IFAC Proc. Volumes. 1977. Vol. 10, no. 12. Pp. 83–91. DOI: 10.1016/S1474-6670(17)66563-7
2. Ozaki T. Non-linear time series models for non-linear random vibrations // J. of Applied Probability. 1980. Vol. 17, no. 1. Pp. 84–93. DOI: 10.2307/3212926
3. Haggan V., Ozaki T. Modelling nonlinear random vibrations using an amplitude-dependent autoregressive time series model // Biometrika. 1981. Vol. 68, no. 1. Pp. 189–196. DOI: 10.1093/biomet/68.1.189
4. Ozaki T. The statistical analysis of perturbed limit cycle processes using nonlinear time series models // J. of Time Series Analysis. 1982. Vol. 3, no. 1. Pp. 29–41. DOI: 10.1111/j.1467-9892.1982.tb00328.x1982.tb00328.x
5. Goryainov A.V., Goryainov V.B., Khing W.M. Robust identification of an exponential autoregressive model // Herald of the Bauman Moscow State Technical Univ. Ser. Natural Sciences. 2020. No. 4. Pp. 42–57. DOI: 10.18698/1812-3368-2020-4-42-57
6. Maronna R.A., Martin R.D., Yohai V.J., Salibián-Barrera M. Robust Statistics: Theory and Methods (with R). Hoboken: Wiley, 2019. 430 p.
7. Shi Z., Tamura Y., Ozaki T. Monitoring the stability of BWR oscillation by nonlinear time series modeling // Annals of Nuclear Energy. 2001. Vol. 28, no. 10. Pp. 953–966. DOI: 10.1016/S0306-4549(00)00099-2
8. Nelder J.A., Mead R. A simplex method for function minimization // The Computer J. 1965. Vol. 7, no. 4. Pp. 308–313. DOI: 10.1093/comjnl.7.4.308
9. Gill F., Myurrei U., Rait M. Prakticheskaya optimizatsiya: per. s angl. M.: Mir, 1985. 509 s. [Gill P.E., Murray W., Wright M.H. Practical optimization. L.; N.Y.: Academic Press, 1981. 401 p.].
10. Lagarias J.C., Reeds J.A., Wright M.H., Wright P.E. Convergence properties of the Nelder-Mead simplex method in low dimensions // SIAM J. of Optimisation. 1998. Vol. 9, no. 1. Pp. 112–147. DOI: 10.1137/S1052623496303470
11. Dennis Dzh. ml., Shnabel' R. Chislennye metody bezuslovnoi optimizatsii i resheniya nelineinykh uravnenii: per. s angl. M.: Mir, 1998. 440 s. [Dennis J.E. jr., Schnabel R.B. Numerical methods for unconstrained optimization and nonlinear equations. Englewood Cliffs, N.Y.: Prentice-Hall, 1983. 395 p.]
12. Vasil'ev F.P. Metody optimizatsii. M.: Faktorial Press, 2002. 829 s.
13. Attetkov A.V., Zarubin V.S., Kanatnikov A.N. Vvedenie v metody optimizatsii. M.: Finansy i statistika, 2011. 272 s.
14. Powell M.J.D. A Fast Algorithm for Nonlinearly Constrained Optimization Calculations // Watson G.A., ed. Numerical analysis. Springer, 1978. 203 p. Pp. 144–157. DOI: 10.1007/BFb0067703
15. Goldberg D.E. Genetic Algorithms in Search, Optimization and Machine Learning. N.-Y.: Addison-Wesley, 1989. 372 p.
16. Karpenko A.P. Sovremennye algoritmy poiskovoi optimizatsii. Algoritmy, vdokhnovlennye prirodoi. M.: Izd-vo MGTU im. N.E. Baumana, 2017. 446 s.
