En el contexto de la Regresión Lineal, se han propuesto diversos métodos para afrontar la multicolinealidad. Los principales de ellos constituyen estimadores sesgados de los coeficientes. Entre estos métodos, se encuentran la Regresión Ridge.
En los modelos de Regresión Lineal cuando la correlación entre las variables de explicación causa que la matriz de diseño sea casi singular al estimar los parámetros por Mínimos Cuadrados estos van a ser inestables, es decir su varianza será alta. La Regresión Ridge busca estimar nuevos parámetros del modelo minimizando la varianza de los mismos, estos estimadores de los parámetros a diferencia de los estimadores por mínimos cuadrados son sesgados.
Cuando en un modelo de Regresión Lineal las observaciones siguen una distribución no-Normal particularmente aquellas que poseen colas más alargadas o gruesas, el Método de Mínimos Cuadrados puede que no sea el apropiado. Las distribuciones con “colas gruesas” usualmente son generadas debido a la presencia de valores aberrantes, estos valores pueden influenciar mucho en las estimaciones por Mínimos Cuadrados. Los procedimientos de Regresión Robusta están diseñados para disminuir la influencia de los valores aberrantes obteniendo estimaciones más eficientes que las realizadas por Mínimos Cuadrados
