Журналов:     Статей:        

Математика и математическое моделирование. 2017; : 91-104

Сравнение классических и робастных оценок параметров пороговой авторегрессии

Горяинов В. Б.

https://doi.org/10.24108/mathm.0317.0000072

Аннотация

Объект исследования работы – модель пороговой авторегрессии первого порядка с одним порогом, расположенным в нуле. Эта модель описывает стохастический временной ряд с дискретным временем посредством кусочно-линейного уравнения, состоящего из двух линейных классических авторегрессионных уравнений первого порядка. Текущее значение временного ряда вычисляется при помощи одного из этих уравнений. Управляющей переменной, которая определяет выбор между этими двумя уравнениями, является знак предыдущего значения этого же ряда.

Пороговая авторегрессионная модель первого порядка с одним порогом зависит от двух вещественных параметров, которые совпадают с коэффициентами кусочно-линейного порогового уравнения. Эти параметры предполагаются неизвестными. В работе изучаются оценка наименьших квадратов, оценка наименьших модулей и М-оценки указанных параметров. Целью работы является сравнительное исследование точности указанных оценок для основных вероятностных распределений обновляющего процесса порогового авторегрессионного уравнения. Этими распределениями вероятности были нормальное, загрязненное нормальное, логистическое, двойное-экспоненциальное распределения, распределение Стьюдента с различным числом степеней свободы и распределение Коши.

В качестве меры точности каждой оценки была выбрана ее дисперсия, измеряющая величину рассеяния оценки вокруг оцениваемого параметра.  Из двух оценок лучшей считалась оценка с меньшей дисперсией. Дисперсия оценивалась методом компьютерного моделирования. Оценка наименьших модулей определялась при помощи итерационного взвешенного метода наименьших квадратов, М-оценки  находились  методом деформируемого многогранника (метода Нелдера – Мида). Для вычисления оценки наименьших квадратов использовалось явное аналитическое выражение.

Оказалось, что оценка наименьших квадратов является лучшей только при нормальном распределении обновляющего процесса. Для логистического распределения и распределения Стьюдента с большим числом степеней свободы М-оценка с ро-функцией Хьюбера превосходит оценку наименьших квадратов в случае обоих распределений.

Для распределения Лапласа оценка наименьших квадратов является наихудшей, а оценка наименьших модулей наилучшей среди всех оценок.

Для распределения Коши оценка наименьших квадратов имеет несравнимо низкую эффективность по отношению к остальным оценкам.

С уменьшением числа степеней свободы у распределения Стьюдента оценка наименьших квадратов сначала проигрывает только М-оценке с ро-функцией Хьюбера, потом обеим М-оценкам, а затем и оценке наименьших модулей.

Если обновляющий процесс имеет загрязненное нормальное распределение, то М-оценка уступает, причем не намного, оценке наименьших квадратов только при практически полном отсутствии загрязнений.

С ростом доли и уровня загрязнения относительная эффективность М-оценки по отношению к оценке наименьших квадратов  увеличивается, становясь больше единицы для типичного на практике загрязнения.

Список литературы

1. Hansen B.E. Threshold autoregression in economics // Statistics and Its Interface. 2011. Vol. 4, no. 2. Pp. 123-127. DOI: 10.4310/SII.2011.v4.n2.a4

2. Tong H. Non-linear time series: A dynamical system approach. Oxf.: Clarendon Press; N.Y.: Oxf. Univ. Press, 1990. 564 p.

3. Douc R., Moulines E., Stoffer D. Nonlinear time series: Theory, methods and applications with R examples. Boca Raton: CRC Press, 2014. 531 p.

4. Li D., Ling Sh. On the least squares estimation of multiple-regime threshold autoregressive models // J. of Econometrics. 2012. Vol. 167. No. 1. Pp. 240-253. DOI: 10.1016/j.jeconom.2011.11.006

5. Wang L., Wang J. The limiting behavior of least absolute deviation estimators for threshold autoregressive models // J. of Multivariate Analysis. 2004. Vol. 89, no. 2. Pp. 243-260. DOI: 10.1016/j.jmva.2004.02.006

6. Горяинов А.В., Горяинова Е.Р. Сравнение эффективности оценок методов наименьших модулей и наименьших квадратов в авторегрессионной модели со случайным коэффициентом // Автоматика и телемеханика. 2016. № 9. C. 84-95.

7. Huber P.J., Ronchetti E.M. Robust statistics. 2nd ed. Hoboken: Wiley, 2009. 354 p.

8. Wilcox R.R. Introduction to robust estimation and hypothesis testing. 3rd ed. Amst.; Boston: Academic Press, 2012. 690 p.

9. Numerical recipes: The art of scientific computing / W.H. Press a.o. 3rd ed. Camb.; N.Y.: Camb. Univ. Press, 2007. 1235 p.

10. Bissantz N., Dumbgen L., Munk A., Stratmann B. Convergence analysis of generalized iteratively reweighted least squares algorithms on convex function spaces // SIAM J. of Optimization. 2009. Vol. 19, no. 4. Pp. 1828-1845. DOI: 10.1137/050639132

11. Горяинов В.Б., Горяинова Е.Р. Асимптотические свойства знаковой оценки коэффициентов авторегрессионного поля // Автоматика и телемеханика. 2015. № 3. C. 62-78.

Mathematics and Mathematical Modeling. 2017; : 91-104

Comparison of Classical and Robust Estimates of Threshold Auto-regression Parameters

Goryainov V. B.

https://doi.org/10.24108/mathm.0317.0000072

Abstract

The study object is the first-order threshold auto-regression model with a single zero-located threshold. The model describes a stochastic temporal series with discrete time by means of a piecewise linear equation consisting of two linear classical first-order autoregressive equations. One of these equations is used to calculate a running value of the temporal series. A control variable that determines the choice between these two equations is the sign of the previous value of the same series.

The first-order threshold autoregressive model with a single threshold depends on two real parameters that coincide with the coefficients of the piecewise linear threshold equation. These parameters are assumed to be unknown. The paper studies an estimate of the least squares, an estimate the least modules, and the M-estimates of these parameters. The aim of the paper is a comparative study of the accuracy of these estimates for the main probabilistic distributions of the updating process of the threshold autoregressive equation. These probability distributions were normal, contaminated normal, logistic, double-exponential distributions, a Student's distribution with different number of degrees of freedom, and a Cauchy distribution.

As a measure of the accuracy of each estimate, was chosen its variance to measure the scattering of the estimate around the estimated parameter. An estimate with smaller variance made from the two estimates was considered to be the best. The variance was estimated by computer simulation. To estimate the smallest modules an iterative weighted least-squares method was used and the M-estimates were done by the method of a deformable polyhedron (the Nelder-Mead method). To calculate the least squares estimate, an explicit analytic expression was used.

It turned out that the estimation of least squares is best only with the normal distribution of the updating process. For the logistic distribution and the Student's distribution with the large number of degrees of freedom, the M-estimate with the Huber rho-function exceeds the least squares estimate in the case of both distributions.

For the Laplace distribution, the least squares estimate is the worst, and the least modulus estimate is the best among all estimates.

For the Cauchy distribution, the least-squares estimate has incomparably low efficiency with respect to the remaining estimates.

With decreasing number of degrees of freedom in the Student's distribution, the least squares estimate at first loses only the M-estimate with the Huber rho-function, then both M-estimates, and then the least moduli estimate.

If the updating process has a contaminated normal distribution, then the M-estimate is a little bit lower than the least squares estimate only in case there is absolutely no contaminants.

With increasing contamination share and level, relative effectiveness of the M-estimate with respect to the estimation of least squares grows, becoming above unit for typical contamination in practice.

References

1. Hansen B.E. Threshold autoregression in economics // Statistics and Its Interface. 2011. Vol. 4, no. 2. Pp. 123-127. DOI: 10.4310/SII.2011.v4.n2.a4

2. Tong H. Non-linear time series: A dynamical system approach. Oxf.: Clarendon Press; N.Y.: Oxf. Univ. Press, 1990. 564 p.

3. Douc R., Moulines E., Stoffer D. Nonlinear time series: Theory, methods and applications with R examples. Boca Raton: CRC Press, 2014. 531 p.

4. Li D., Ling Sh. On the least squares estimation of multiple-regime threshold autoregressive models // J. of Econometrics. 2012. Vol. 167. No. 1. Pp. 240-253. DOI: 10.1016/j.jeconom.2011.11.006

5. Wang L., Wang J. The limiting behavior of least absolute deviation estimators for threshold autoregressive models // J. of Multivariate Analysis. 2004. Vol. 89, no. 2. Pp. 243-260. DOI: 10.1016/j.jmva.2004.02.006

6. Goryainov A.V., Goryainova E.R. Sravnenie effektivnosti otsenok metodov naimen'shikh modulei i naimen'shikh kvadratov v avtoregressionnoi modeli so sluchainym koeffitsientom // Avtomatika i telemekhanika. 2016. № 9. C. 84-95.

7. Huber P.J., Ronchetti E.M. Robust statistics. 2nd ed. Hoboken: Wiley, 2009. 354 p.

8. Wilcox R.R. Introduction to robust estimation and hypothesis testing. 3rd ed. Amst.; Boston: Academic Press, 2012. 690 p.

9. Numerical recipes: The art of scientific computing / W.H. Press a.o. 3rd ed. Camb.; N.Y.: Camb. Univ. Press, 2007. 1235 p.

10. Bissantz N., Dumbgen L., Munk A., Stratmann B. Convergence analysis of generalized iteratively reweighted least squares algorithms on convex function spaces // SIAM J. of Optimization. 2009. Vol. 19, no. 4. Pp. 1828-1845. DOI: 10.1137/050639132

11. Goryainov V.B., Goryainova E.R. Asimptoticheskie svoistva znakovoi otsenki koeffitsientov avtoregressionnogo polya // Avtomatika i telemekhanika. 2015. № 3. C. 62-78.