4.3 REGRESIÓN POR MÍNIMOS CUADRADOS: LINEAL Y CUADRÁTICA.

4.3 REGRESIÓN POR MÍNIMOS CUADRADOS: LINEAL Y CUADRÁTICA.

La dependencia entre dos (o más) variables puede ser tal que se base en una relación funcional (matemática) exacta, como la existente entre la velocidad y la distancia recorrida por un móvil; o puede ser estadística. La dependencia estadística es un tipo de relación entre variables tal que conocidos los valores de la (las) variable (variables) independiente(s) no puede determinarse con exactitud el valor de la variable dependiente, aunque si se puede llegar a determinar un cierto comportamiento (global) de la misma. (Ej. la relación existente entre el peso y la estatura de los individuos de una población es una relación estadística) . Pues bien, el análisis de la dependencia estadística admite dos planteamientos (aunque íntimamente relacionados): El estudio del grado de dependencia existente entre las variables que queda recogido en la teoría de la correlación.  La determinación de la estructura de dependencia que mejor exprese la relación, lo que es analizado a través de la regresión. Una vez determinada la estructura de esta dependencia la finalidad última de la regresión es llegar a poder asignar el valor que toma la variable Y en un individuo del que conocemos que toma un determinado valor para la variable X (para las variablesX1, X2,..., Xn ).

En el caso bidimensional, dadas dos variables X e Y con una distribución conjunta de frecuencias ( xi, yj ,nij ), llamaremos regresión de Y sobre X ( Y/X) a una función que explique la variable Y para cada valor de X, y llamaremos regresión de X sobre Y (X/Y) a una función que nos explique la variable X para cada valor de Y.(Hay que llamar la atención, como se verá más adelante, que estas dos funciones, en general, no tienen por qué coincidir).

MÉTODO DE CUADRADOS MÍNIMOS – REGRESIÓN LINEAL.

Hemos enfatizado sobre la importancia de las representaciones gráficas y hemos visto la utilidad de las versiones linealizadas de los gráficos (X, Y) junto a las distintas maneras de llevar a cabo la linealización. A menudo nos confrontamos con situaciones en las que existe o suponemos que existe una relación lineal entre las variables X e Y.

Surge de modo natural la pregunta: ¿cuál es la relación analítica que mejor se ajusta a nuestros datos? El método de cuadrados mínimos es un procedimiento general que nos permite responder esta pregunta. Cuando la relación entre las variables X e Y es lineal, el método de ajuste por cuadrados mínimos se denomina también método de regresión lineal.

Observamos o suponemos una tendencia lineal entre las variables y nos preguntamos sobre cuál es lamejor recta:

 y(x) = a x + b

Que representa este caso de interés. Es útil definir la función:













Que es una medida de la desviación total de los valores observados yi respecto de los predichos por el modelo lineal a x + b. Los mejores valores de la pendiente a y la ordenada al origen b son aquellos que minimizan esta desviación total, o sea, son los valores que remplazados en la Ec.(1) minimizan la funciónc2. Ec.(2). Los parámetros a y b pueden obtenerse usando técnicas matemáticas que hacen uso del cálculo diferencial. Aplicando estas técnicas, el problema de minimización se reduce al de resolver el par de ecuaciones:







Actualmente, la mayoría de los programas de análisis de datos y planillas de cálculo, realizan el proceso de minimización en forma automática y dan los resultados de los mejores valores de a y b, o sea los valores indicados por las ecuaciones.




Gráfico de datos asociados a un modelo lineal. La cantidad yi - y(xi)
representa la desviación de cada observación de yi respecto del valor predicho por
el modelo y(x).


El criterio de mínimos cuadrados reemplaza el juicio personal de quien mire los gráficos y defina cuál es la mejor recta. En los programas como Excel, se realiza usando la herramienta “regresión lineal” o “ajuste lineal”. Los resultados se aplican en el caso lineal cuando todos los datos de la variable dependiente tienen la misma incertidumbre absoluta y la incertidumbre de la variable independiente se considera despreciable.





REGRESIÓN MÍNIMO-CUADRÁTICA


Consiste en explicar una de las variables en función de la otra a través de un determinado tipo de función (lineal, parabólica, exponencial, etc.), de forma que la función de regresión se obtiene ajustando las observaciones a la función elegida, mediante el método de Mínimos-Cuadrados (M.C.O.).






Elegido el tipo de función ¦ ( ) la función de regresión concreta se obtendrá minimizando la expresión:












(yj - ¦ (xi ) ) 2. nij en el caso de la regresión de Y/X :








(xi - ¦ (yj ) ) 2. nij en el caso de la regresión de X/Y





Puede probarse que es equivalente ajustar por mínimos cuadrados la totalidad de las observaciones (toda la nube de puntos) que realizar el ajuste de los puntos obtenidos por la regresión de la media; de forma que la regresión mínimo-cuadrática viene ser, en cierto modo, la consecución de una expresión analítica operativa para la regresión en sentido estricto.




Coeficientes de regresión.





Se llama coeficiente de regresión a la pendiente de la recta de regresión:


en la regresión Y/X : b = Sxy / Sx2


en la regresión X/Y b' = Sxy / Sy2


El signo de ambos coincidirá con el de la covarianza, indicándonos la tendencia (directa o inversa a la covariación).Es interesante hacer notar que b.b'= r2


BONDAD DEL AJUSTE (Varianza residual, varianza de la regresión y coeficiente de determinación)


Por bondad del ajuste hay que entender el grado de acoplamiento que existe entre los datos originales y los valores teóricos que se obtienen de la regresión. Obviamente cuanto mejor sea el ajuste, más útil será la regresión a la pretensión de obtener los valores de la variable.


Obtener indicadores de esta bondad de ajuste es fundamental a la hora de optar por una regresión de un determinado tipo u otro.


Puesto que la media de los residuos se anula, el primer indicador de la bondad del ajuste (no puede ser el error medio) será el error cuadrático medio, o varianza del residuo, o varianza residual :


Considerando la regresión Y/X:






Que será una cantidad mayor o igual que cero.De forma que cuanto más baja sea mejor será el grado de ajuste.Si la varianza residual vale cero el ajuste será perfecto (ya que no existirá ningún error ).





Del hecho de que yi=y*i+ei ,y de que las variables y* ý e están incorrelacionadas se tiene que:






Donde S2y* es la llamada varianza de la regresión y supone la varianza de la variable regresión:




Igualdad fundamental anterior de la que se deduce que la varianza total de la variable y puede descomponerse en dos partes una parte explicada por la regresión( la varianza de la regresión) y otra parte no explicada (la varianza residual).
Considerando que la varianza nos mide la dispersión de los datos este hecho hay que entenderlo como que la dispersión total inicial queda, en parte explicada por la regresión y en parte no.Cuanto mayor sea la proporción de varianza explicada (y menor la no explicada) tanto mejor será el ajuste y tanto más útil la regresión.

REGRESIÓN MÍNIMO CUADRÁTICA NO-LINEAL




La regresión mínimo-cuadrática puede plantearse de forma que la función de ajuste se busca no sea una función lineal. El planteamiento general sería similar, aunque obviamente habría que minimizar el cuadrado de los residuos entre los datos originales y los valor teóricos obtenibles a través de la función no-lineal considerada.


Regresión parabólica .Desarrollaremos someramente la regresión Y/X y debe quedar claro que la regresión X/Y resultaría análoga.


Supongamos para simplificar que los datos no están agrupados por frecuencias.


En tal caso, obtener la función parabólica y* = a0+a1x+a2 x2 se llevará a cabo determinado los valores de los tres parámetros a0,a1,a2 que minimicen :


y (a0,a1,a2)=S (yi- (a0+a1x+a2 x2)) 2


Igualando a cero las tres derivadas parciales se obtendrá las ecuaciones normales, que convenientemente manipuladas acaban siendo:



Sistema de ecuaciones del que se pueden despejar los valores de los coeficientes de regresión.

4.2 Polinomios de interpolación: Diferencias divididas de Newton y de LaGrange.

Existencia de polinomio de interpolación

 El problema de la interpolación tiene propiamente tres cuestiones:

 ·         Saber si tiene solución o no.

·         En caso de tenerla, ¿dicha solución es ´única o existen varias?

·         Y finalmente métodos de cálculo lo más eficientes posibles.

 A este respecto en interpolación polinómica tenemos el siguiente resultado:

 Teorema 1. Supongamos conocido el valor de una función f(x) en un conjunto de puntos distintos dos a dos x0, x1, . . . , xn. Entonces, existe un único polinomio P(x) 2 <n[x] (esto es, polinomios de grado menor o igual que n) que interpola a la función en esos puntos, es decir,P(xi) = f(xi) con i = 0, . . . , n.

 La prueba más directa (con el coste de unos leves conocimientos de ´algebra) consiste en plantear el sistema lineal de ecuaciones (ahora las incógnitas son los coeficientes del polinomio P buscado) y darse cuenta de que es un sistema compatible determinado al tener matriz de coeficientes de tipo Van der Monde (con los xi distintos dos a dos) y por tanto invertible.

Otra forma inmediata de ver la unicidad de solución al problema consiste en imaginar la existencia de dos polinomios P y Q de grado n satisfaciendo la tesis del teorema.

 Entonces

P − Q es otro polinomio de grado n con n + 1 ceros, y eso conduce inevitablemente a que

P − Q _ 0.

 Completamos este razonamiento con dos respuestas (en las siguientes secciones) de existencia de solución, ambas constructivas.

Interpolación de Lagrange.

Este método es el más explícito para probar existencia de solución ya que la construye.

Sin embargo su utilidad se reduce a eso: a dar una respuesta formal y razonada, pues no es eficiente en términos de cálculo (requiere muchas operaciones y tiene limitaciones técnicas que después nombraremos).

 Para calcular el polinomio interpolador P(x) asociado a una tabla de datos (xi, fi) con i =

0, . . . , n podemos plantearnos una simplificación previa: ¿qué ocurre si construimos polinomios

 li(x) de grado n que valgan 1 en el nodo xi y 0 en el resto?

li(xk) = _ik = _ 1 si i = k, 0 si i 6= k.

 Es inmediato que con esto se resuelve el problema original, tomando la suma de esa n + 1 polinomios de grado n (con coeficientes adecuados):

 P(x) = Pn k=0 fk · lk(x).

¿Es posible encontrar tales li(x)? Si damos el polinomio facto izado para que tenga en cada nodo xj (con j 6= i) una raíz, el candidato es:

 (x − x0)(x − x1) ·. . . · (x − xi−1)(x − xi+1) · . . . · (x − xn) = n Yj=0 j6=I (x − xj).

Polinomios de interpolación con diferencias divididas de Newton.

 Cualquier polinomio de <n[x] se puede expresar en forma única como una combinación lineal de los monomios {1, x, x2, . . . , xn}, pues son evidentemente sistema generador y además linealmente independientes (luego forman una base del espacio vectorial), la más simple de hecho, la base canoníca.

 Esta base, que es adecuada para algunas manipulaciones inmediatas de polinomios como nombrábamos en la sección anterior (derivación e integración por ejemplo), no es, sin embargo, la más adecuada para construir en principio el polinomio interpolador.

 Vimos que resultaba útil incluir los propios nodos del problema en los polinomios a construir, de modo que en este parágrafo adoptamos una solución intermedia:

 Expresaremos el polinomio P(x) que interpola a las abscisas x0, x1, . . . , xn, como una combinación lineal del siguiente conjunto de polinomios {  

          0(x),      1(x), . . . ,            n(x)} siendo:

             0(x) = 1,

                1(x) = (x − x0),

                2(x) = (x − x0)(x − x1),

                3(x) = (x − x0)(x − x1)(x − x2),

                n(x) = (x − x0)(x − x1)(x − x2) · · · (x − xn−1)

 Este conjunto es otra base del espacio de <n[x] por tener n + 1 elementos linealmente independientes (obsérvese que con este método cada problema requiere una base distinta, en función de los nodos xi que nos dan, y que el cálculo de cada sirve para el siguiente.)

UNIDAD 4

4.1 INTERPOLACION LINEAL Y CUADRATICA

La interpolación consiste en hallar un dato dentro de un intervalo en el que conocemos los valores en los extremos. El problema general de la interpolación se nos presenta cuando nos dan una función de la cual solo conocemos una serie de puntos de la misma:

(xo, yo), (x1, y1),........., (xn, yn)

 Se pide hallar el valor de un punto x (intermedio de x0 y xn) de esta función.La interpolación se dirá lineal cuando sólo se tomen dos puntos y cuadrática cuando se tomen tres.INTERPOLACIÓN LINEAL

Cuando las variaciones de la función son proporcionales (o casi proporcionales) a los de la variable independiente se puede admitir que dicha función es lineal y usar para estimar los valores la interpolación lineal…

Sean dos puntos (xo, yo), (x1, y1), la interpolación lineal consiste en hallar una estimación del valor y, para un valor x tal que x0<x<x1.

 Obtenemos la fórmula de la interpolación lineal.

LA INTERPOLACIÓN CUADRÁTICA.

Cuando el polinomio que conviene es de 2º grado la interpolación recibe el nombre de cuadrática. El polinomio interpolador es único, luego como se encuentre da igual., sin embargo, a veces los cálculos son muy laboriosos y es preferible utilizar un método que otro. A la vista de los datos se decide. En el ejemplo 1 se da el método de resolver el sistema para encontrar los valores que determinan a la función cuadrática (a, b y c) También podemos utilizar la expresión del polinomio interpolador así:

y= a + b(x-x0) + c(x-x0)(x-x1), con lo que la búsqueda de los coeficientes es muy sencilla.

Lagrange (1736-1813) dio una manera simplificada de calcular los polinomios interpoladores de grado n Para el caso de un polinomio de 2º grado que pasa por los puntos (x0, y0 ), (x1, y1), (x2, y2):

Que es la fórmula de Lagrange para n=2.

Con frecuencia se tienen que estimar valores intermedios entre valores conocidos. El método mas común empleado para este propósito es la interpolación polinomial. Recuérdese que la fórmula general de un polinomio de n-ésimo orden es:

Para n + 1 puntos, existe uno y sólo un polinomio de n-ésimo orden o menor que pasa a través de todos los puntos. Por ejemplo, hay sólo una línea recta (es decir un polinomio de primer orden) que conecta dos puntos. El polinomio de interpolación consiste en determinar el único polinomio de n-ésimo orden que se ajusta a los n + 1 puntos dados. Este polinomio proporciona una fórmula para calcular los valores intermedios. Aunque existe uno y sólo un polinomio de n-ésimo orden que se ajusta a los n + 1 puntos, existen una gran variedad de fórmulas matemáticas mediante las cuales se puede expresar este polinomio. En esta unidad se estudian dos técnicas alternativas que están bien condicionadas para implementarse en una computadora. Estos son los polinomios de Newton y de Lagrange.

5.1 Derivación numérica

5.1 Derivación numérica
Consideremos una función f(x) de la cual se conoce un conjunto discreto de valores (x0, f0), (x1, f1),...,(xn, fn). El problema que vamos a abordar es el de calcular la derivada de la función en un punto x que en principio no tiene porqué coincidir con alguno de los que figuran en los datos de que disponemos. La forma más sencilla de resolver el problema de la diferenciación numérica consiste en estimar la derivada utilizando fórmulas obtenidas mediante la aproximación de Taylor, que se denominan fórmulas de diferencias finitas.
La derivación numérica es una técnica de análisis numérico para calcular una aproximación a la derivada de una función en un punto utilizando los valores y propiedades de la misma.

Por definición la derivada de una función f(x) es: