6 понятие и причины возникновения остатков в уравнении регрессии

Анализ остатков уравнения множественной регрессии на автокорреляцию

Как уже отмечалось, одной из предпосылок МНК является независимость отклонений e = y – друг от друга. Если это условие нарушено, то говорят об автокорреляции остатков. Причин возникновения автокорреляции в остатках для уравнения множественной регрессии несколько. Выделим среди них следующие:

1) в регрессионную модель не введен значимый факторный признак и его изменение приводит к значимому изменению последовательных остаточных величин;

2) в регрессионную модель не включено несколько незначимых факторов, но их изменения совпадают по направлению и фазе, и их суммарное воздействие приводит к значимому изменению последовательных остатков:

3) неверно выбран вид зависимости между анализируемыми переменными;

4) автокорреляция остатков может возникнуть не в результате ошибок, допущенных при построении регрессионной модели, а вследствие особенностей внутренней структуры случайных компонент (например, при описании регрессией динамических рядов).

Анализ остатков на автокорреляцию, как и в случае парной регрессии, можно проводить на основе критерия Дарбина – Уотсона (Durbin – Watson test). Табличные значения этого критерия определяются при известных n (объём выборки), m (число независимых переменных) и α (принятый уровень значимости). Дальнейшие исследования – по аналогии с простой регрессией. Если с помощью этого критерия обнаружена существенная автокорреляция остатков, то необходимо признать наличие проблемы в определении спецификации уравнения и либо пересмотреть набор включаемых в уравнение регрессий переменных, либо форму регрессионной зависимости. В большей степени такой анализ актуален при рассмотрении регрессии на временные ряды.

Как уже отмечалось, статистика Дарбина – Уотсона обладает рядом недостатков и в некоторых случаях её использование проблематично: тестируется только автокорреляция первого порядка, нельзя использовать, если среди регрессоров есть лаговые значения зависимой переменной, необходимо присутствие в регрессии константы и т. д.

Поэтому разработаны альтернативные тесты для проверки автокорреляции в остаточных членах уравнения регрессии, лишённые таких недостатков.

Рассмотрим один из них реализованный в пакете EViews. Этот тест носит имя своих авторов – тест Бройша – Годфри (BreuschGodfrey test). Идея этого теста в следующем. Сначала обычным МНК оценивается исходное уравнение регрессии. Затем составляется вспомогательное уравнение регрессии, в котором зависимой переменной являются остатки исходного уравнения, а независимыми – константа, исходные независимые переменные и лаговые значения остатков исходного уравнения. Число лаговых значений остатков во вспомогательном уравнении определяется эмпирически. Затем оценивается вспомогательное уравнение и рассчитывается статистика , где n – объём выборки, а – коэффициент множественной детерминации вспомогательного уравнения. Доказано, что если автокорреляция в остатках исходного уравнения отсутствует, то статистика следует распределению (хи-квадрат распределению с p степенями свободы), где p – максимальное число лаговых значений остатков во вспомогательном уравнении. Если окажется, что > , то гипотеза об отсутствии автокорреляции в остатках отклоняется.

Опишем этот тест на примере уравнения регрессии с двумя переменными. Пусть рассматривается следующее исходное уравнение:

.

Чтобы протестировать остаточные члены этого уравнения на автокорреляцию (на серийную корреляцию) по тесту Бройша – Годфри, оценим исходное уравнение стандартным МНК и составим вспомогательное уравнение

.

Этим тестом проверяется нулевая гипотеза : , против альтернативной гипотезы : не все . После оценки вспомогательной регрессии проверяется неравенство > и делается соответствующий вывод на основе расчётного уровня значимости. В EViews этот тест называется serial correlation LM test – тест максимального правдоподобия на последовательную корреляцию. Реализуется этот тест выбором процедуры «View/Residual Tests/serialcorrelation LM test». В диалоговом окне теста будет предложено выбрать максимальный порядок лага (по умолчанию проставлен 2). Выбор величины лага зависит от того, какой максимальный порядок автокорреляции в остатках необходимо проверить.

Отметим ещё раз, что тестирование остатков регрессии на автокорреляцию в основном рекомендуется, если анализируются временные ряды. При анализе пространственной информации изучаются в основном случайные выборки, и понятие порядка автокорреляции теряет смысл.

6 понятие и причины возникновения остатков в уравнении регрессии

В число регрессоров в моделях временных рядов могут быть включены и константа, и временной тренд, и какие-либо другие объясняющие переменные. Ошибки регрессии могут коррелировать между собой, однако, мы предполагаем, что остатки регрессии образуют стационарный временной ряд. [c.179]

Для практического применения обобщенного метода наименьших квадратов следует оценить матрицу . Это можно сделать, применив метод наименьших квадратов сначала к уравнениям (9.18), (9.19) по отдельности, найти остатки регрессии и принять в качестве оценок матриц Z/, выборочные ковариации 6v(e,,e7). Очевидно, эти оценки будут состоятельными. [c.237]

В табл. 4,24 указаны остатки регрессии. [c.177]

Анализ остатков регрессии 155-166, [c.338]

Yt = Yt + t — о + bXt + t- He следует путать остатки регрессии с ошибками регрессии в уравнении модели Yt = a+bXt+ t- Остатки et, так же как и ошибки t, являются случайными величинами, однако разница состоит в том, что остатки, в отличие от ошибок, наблюдаемы. [c.44]

Кажется вполне естественной гипотеза, что оценка сг2 связана с суммой квадратов остатков регрессии et = Yt — a — bXt. В самом деле, [c.44]

Подставив (2.18) в уравнение регрессии У = а + ЬХ, получим следующую формулу для остатков регрессии [c.47]

Так как оценка дисперсии ошибок s2 является функцией от остатков регрессии et, то для того чтобы доказать независимость s2 и (2,6), достаточно доказать независимость et и (2,6). Оценки 2, 6 так же, как и остатки регрессии et, являются линейными функциями ошибок t (см. (2.4а), (2.46), (2.20)) и поэтому имеют совместное нормальное распределение. Известно (приложение МС, п. 4, N4), что два случайных вектора, имеющие совместное нормальное распределение, независимы тогда и только тогда, когда они некоррелированы. Таким образом, чтобы доказать независимость s2 и (а, 6), нам достаточно доказать некоррелированность et и (2,6). [c.48]

Замечание. Вектор остатков регрессии ортогонален константе, т. е. г е = Z et = 0, вообще говоря, только в том случае, когда константа включена в число объясняющих параметров регрессии. Поэтому (2.26) справедливо, вообще говоря, только в случае, когда константа включена в число объясняющих параметров регрессии. [c.51]

N = X(X X)-1X. (3.10) Вектор остатков регрессии [c.72]

Мы видим, что квадраты остатков регрессии е2, которыми оперируют тесты на гетероскедастичность, зависят от значения переменной xt, и, соответственно, тесты отвергают гипотезу гомоскедастичности, что в данном случае является следствием ошибки спецификации модели. [c.181]

Как и в случае выделения тренда, методы моделирования стационарных временных рядов применяются далее к ряду остатков регрессии (11.58). [c.286]

Во-вторых, согласно модели ошибки et являются белым шумом. Соответственно их оценки, т. е. остатки регрессии et, должны быть также похожи на белый шум. Поэтому остатки должны иметь нулевую автокорреляцию. [c.306]

Как и в обычной линейной модели, в качестве оценки дисперсии ,-, обусловленных регрессией, и остатков ef. [c.102]

Идея теста заключается в том, что абсолютные величины остатков регрессии е/ являются оценками а/, поэтому в случае ге-тероскедастичности абсолютные величины остатков е/ и значения регрессоров х/ будут коррелированы. [c.159]

Тест Дарбина— Уотсона основан на простой идее если корреляция ошибок регрессии не равна нулю, то она присутствует и в остатках регрессии et, получающихся в результате применения обычного метода наименьших квадратов. В тесте Дарбина— Уотсона для оценки корреляции используется статистика вида [c.170]

Вернемся к примеру формирования курса ценной бумаги А. Приведенные в 7.8 значения автокорреляционной и частной автокорреляционной функций указывают на то, что модель ARMA остатков регрессии имеет порядок заведомо не выше второго. [c.180]

Объяснение здесь очень простое тест Дарбина—Уотсона неприменим в том случае, если имеется корреляция между регрессо-рами и ошибками регрессии. В самом деле, идея теста заключается в том, что корреляция ошибок регрессии имеет место в том и только том случае, когда она значимо присутствует в остатках регрессии. Но для того, чтобы это было действительно так, необходимо, чтобы набор значений остатков можно было бы интерпретировать как набор наблюдений ошибок. Между тем это не так, если регрессоры коррелируют с ошибками. [c.213]

Обозначим через YL = о + bXt прогноз (fitted value) значения Yt в точке Xt. Остатки регрессии et определяются из уравнения [c.43]

Третье слагаемое в (2.25) равно нулю, так как у — у = е, — вектор остатков регрессии, ортогонален константе г и вектору х (см. J2J)) B самом деле, ег(У4 — F) = е (о + lxt — F) -(а + ЪХ — Y) 5H et + b S etxt = 0- Поэтому верно равенство [c.51]

Уравнение У = а + (3Xi + e, оценивается методом наименьших квадр атов Остатки регрессии равны i, yt = У — У, Xj = Xi — X, yi = Yi — Y — отклонения от средних. Докажите, что следующие меры качества подгонки совпадают [c.59]

Графические возможности представляются не очень существенным фактором при выборе пакета. Достаточно иметь графические средства, необходимые для анализа и понимания данных, моделей (например, графики остатков регрессии, автокорреляционная функция остатков, гистограмма остатков и т.п.), а их предоставляют практически все статистические пакеты. Больше внимания, на наш взгляд, следует уделить легкости получения необходимых графиков (например, сразу из меню пострегрессионного анализа) и интерактивным возможностям графического интерфейса (графический курсор, графический редактор и т.д.). Если же для отчета необходима презентационная графика, то лучше обратиться к специализированным графическим пакетам или к мощным табличным процессорам, например к Ex el. [c.543]

В главе 7 представлены обобщенная линейная модель множественной регрессии и обобщенный метод наименьших квадратов. Исследуется комплекс вопросов, связанных с нарушением предпосылок классической модели регрессии — гетероскедастично-стью и автокоррелированностью остатков временного ряда, их тестированием и устранением, идентификацией временного ряда. [c.4]

Регрессия: понятие, виды и уравнение

Содержание статьи:

  • Уравнение регрессии
  • Линейное уравнение
  • Нелинейное уравнение
  • Виды регрессии
  • Парная регрессия
  • Множественная регрессия

Регрессия. Многие из нас слышали это слово, но немногие знают, что же это такое на самом деле. Попробуем разобраться. Регрессия — это зависимость между определёнными переменными, с помощью которой можно спрогнозировать будущее поведение данных переменных. Причём, под переменными подразумеваются всевозможные периодические явления вплоть до человеческого поведения.

Уравнение регрессии

Зачастую, регрессия подаётся в виде простого уравнения, которое раскрывает зависимость и силу связи между двумя группами числовых переменных, одна из которых называется зависимой (эндогенной), а вторая — независимой (экзогенной или фактором). Если есть группа взаимосвязанных показателей, то зависимая переменная выбирается логическими размышлениями, а остальные выступают независимыми. То есть, если у нас есть расстояние между городами и затраты на путешествие, то вполне ясно, что затраты будут зависеть от расстояния. Уравнения бывают двух видов: линейные и нелинейные (это уже чистая математика). Стоит рассмотреть каждый из видов.

Линейное уравнение

Линейное уравнение иллюстрирует строго линейную связь между переменными, то есть в нём отсутствуют степени, дроби, тригонометрические функции. Решается стандартными математическими способами.

Нелинейное уравнение

Логично предположить, что в нелинейный класс уравнений входит всё то, что не вошло в линейный. Решаются такие уравнения сведением к линейному типу, а дальше – по накатанной дорожке.

Виды регрессии

Регрессия бывает двух видов: парная (линейная и нелинейная) и множественная (линейная и нелинейная). Разница между ними в виде уравнения и количестве независимых переменных. Логично, что парная регрессия — это когда одна зависимая переменная и одна независимая, в множественной — независимых переменных несколько. В природе имеет место исключительно множественная регрессия, так как нельзя ограничить внешнее влияние на какое-то явление строго одним фактором. Рассмотрим оба вида регрессий детальнее.

Парная регрессия

Парная (её ещё называют двухфакторной) модель проста в использовании, так как у нас всего две переменные: эндогенная и экзогенная, а значит будет просто решить уравнение и провести анализ. А это значит, что и применять на практике такую модель очень легко.

Множественная регрессия

Множественная (многофакторная) модель намного сложнее, так как мы имеем уравнение с большим количеством переменных, для решения которого существуют определённые математические способы (метод наименьших квадратов например).

Итоги

Немного разобравшись в этой теме, приходишь к выводу, что регрессия очень необходимое понятие, помогающее предугадать поведение многих явлений. Его используют в экономике, психологии, химии, биологии, метеорологии и во многих других науках, причём существует множество программ, которые проводят все необходимые расчёты автоматически и сами выводят результаты и графики для анализа. Пользователю остаётся только считать результаты и правильно расшифровать их. А уж найти им применение вообще не проблема. Поэтому, я считаю, что необходимо иметь хотя бы малейшее понятие о том, что же такое эта пресловутая регрессия и где её использовать.

Видео про линейную регрессию и корреляцию:


источники:

http://economy-ru.info/info/75719/

http://tutknow.ru/astronomy/378-regressiya-ponyatie-vidy-i-uravnenie.html