Метод наименьших квадратов

Метод наименьших квадратов (МНК) — один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки. Данный метод применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

Когда искомая величина может быть измерена непосредственно, как, например, длина отрезка или угол, то, для увеличения точности измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

При применении МНК используется подстановка в начальные уравнения неизвестных величин. При этом в правых частях уравнений получаются если не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков после подстановки каких бы то ни было других значений неизвестных. Помимо этого, решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, то есть даёт величины, по которым судят о степени точности выводов.

Двухшаговый МНК. Системы одновременных уравнений

Система одновременных уравнений — это система уравнений, содержащая взаимозависимые переменные, которые включены в одно из уравнений модели в качестве результативного признака, а в другие уравнения - в качестве факторного признака. Коэффициенты системы одновременных уравнений нельзя определить обычным МНК, так как правая часть системы одновременных уравнений содержит эндогенные переменные. Наиболее распространенным методом для расчета является двухшаговый метод наименьших квадратов (ДМНК).

ДМНК состоит в следующем:

ДМНК производит оценку коэффициентов заданного регрессионного уравнения: y = Y·a + X·b + u.

Где:

Взвешенный МНК

Метод применяется для оценивания коэффициентов модели y = Xβ + e, минимизирующей сумму квадратов отклонений e'e. Оценивание выполняется по формуле β = (X'X)-1X'Y.

При этом особо рассматривается случай мультиколлинеарности, когда матрица X'X близка к вырожденной (абсолютная величина определителя мала). В этих случаях оценка коэффициентов неоднозначна вследствие линейной зависимости столбцов матрицы X. Для получения однозначной оценки исключаем столбцы из матрицы X до тех пор, пока она не станет иметь максимальный ранг.

Взвешивание применяется для оценивания коэффициентов модели Y =Xβ + ε в предположении гетероскедастичности остатков .

Случай сводится к стандартной модели множественной линейной регрессии с гомоскедастичными остатками несложным преобразованием:

Оценивание полученной модели выполняется стандартным МНК.

Доступный обобщенный МНК

В случае линейной регрессионной модели Y =Xβ + ε в предположении распределения остатков ε по закону N(0, σ2Ω) с заданной матрицей ковариаций Ω, оценка доступного обобщенного метода наименьших квадратов реализуется формулой:

При наличии в модели константы, подлежащей автоматическому оцениванию, следует дополнить матрицу X единичным столбцом.

См. также:

Линейная регрессия | Контейнер моделирования: модель «Линейная регрессия (оценка МНК)» | Анализ временных рядов: Линейная регрессия | IModelling.Ols | ISmSimultaneousSystem