метод наименьших квадратов онлайн

1,09 Mb. страница14/22Дата конвертации29.09.2011Размер1,09 Mb.Тип Смотрите также:             14           ^ 4.3. Вычисление коэффициентов уравнения регрессии. Метод наименьших квадратов Систему уравнений на основе имеющихся экспериментальных данных однозначно решить невозможно, т.Pк. количество неизвестных всегда больше количества уравнений. Для преодоления этой проблемы нужны дополнительные допущения. Желательно выбрать коэффициенты полинома так, чтобы обеспечить минимум ошибки аппроксимации. Для оценки ошибок аппроксимации могут применяться различные меры. В качестве такой меры широкое применение нашла среднеквадратическая ошибка. На ее основе разработан специальный метод оценки коэффициентов уравнений регрессии метод наи]меньших квадратов (МНК). Этот метод позволяет получить оценки мак]симального правдоподобия неизвестных коэффициентов уравнения регрессии при нормальном распределения вариант, но его можно применять и при любом другом распределении факторов. Метод наименьших квадратов как вычислительная процедура был описан Лагранжем в 1806Pг. в его труде Nouvelles methodes pour la determination des orbites des cometes. Им также было предложено название этого метода. Первым, кто связал метод наименьших квадратов с теорией вероятностей, был Гаусс (1809 г.). В основе МНК лежат следующие положения: 1)PPзначения величин ошибок и факторов независимы, а значит, и некоррелированы, т.Pе. предполагается, что механизмы порождения помехи не связаны с механизмом формирования значений факторов; 2)PPматематическое ожидание ошибки должно быть равно нулю (постоянная составляющая входит в коэффициент a0), иначе говоря, ошибка является центрированной величиной; 3)PPвыборочная оценка дисперсии ошибки должна быть минимальна. Рассмотрим МНК применительно к линейной регрессии стандартизованных величин. Пусть между двумя случайными величинами x и y имеет месть линейная связь. Это означает, что прогноз значения случайной величины y по заданному значению x имеет вид . Если данные связаны идеальной линейной зависимостью (rx,yP=P1), то предска]занное значение будет в точности совпадать с эмпирическим значением yi при данном xi. Однако на практике обычно отсутствует идеальная линейная зависимость между данными. Внешние случайные воздействия приводят к разбросу данных, возможны искажения из-за присутствия нелинейных эффектов. Если предположить существование линейной связи, то можно подобрать такие значения А и В, которые дадут возможность предсказать ожидаемое значение yi для любого данного xi. Это означает, что не обязательно совпадет с эмпирическим значением yi, но оно будет равно среднему значению всех таких эмпирических значений. По МНК определяются такие значения коэффициентов уравнения регрессии А и В, которые обеспечивают безусловный минимум выражению . (4.5) Минимум находится приравниванием нулю всех частных производных Q, взятых по неизвестным коэффициентам А и В: , (4.6) и решением системы уравнений (4.7) Последовательно проведя преобразования (4.7), получим: (4.8) Из второго уравнения системы (4.8) следует: . (4.9) Подставляем выражение (4.9) в первое уравнение системы (4.8), получаем выражение: . (4.10)^ 4.4. Критерий значимости линии регрессии Проверка значимости регрессии начинается с исследования общей суммы квадратов отклонений значений от среднего : . Для метода наименьших квадратов имеет место следующее разложение: . (4.11) Таким образом, сумма квадратов может быть разбита на две положительные компоненты: PPсумму квадратов значений регрессии относительно среднего; PPсумму квадратов отклонений относительно линии регрессии (остаточная сумма квадратов). Сумма квадратов регрессии есть сумма квадратов разности между значениями, найденными на основе регрессии, и средним. Сумма квадратов относительно линии регрессии есть сумма квадратов расстояний между наблюдаемыми точками и точками, полученными на основе регрессии. Если подобранная прямая проходит через все имеющиеся точки, то она является идеальной и сумма квадратов отклонений относительно этой прямой будет равна нулю, а вся вариация значений объясняется прямой. С другой стороны, если данные не содержат линейного тренда, то сумма квадратов регрессии относительно среднего будет мала и почти вся вариация в изменении может быть объяснена как вариация относительно линии регрессии.Таблица 4.1 Дисперсионный анализ парной линейной регрессии Источник вариации Сумма квадратов Степень свободы Средний квадрат Регрессия 1 Остаток

Н. А. Задорина обработка экспериментальных данных на ЭВМ 5 чел. помогло.

4.3. Вычисление коэффициентов уравнения регрессии. Метод наименьших квадратов - Н. А. Задорина обработка экспериментальных данных на ЭВМ