Estimación de modelos de regresión por mínimos cuadrados penalizados

Las técnicas de regresión por mínimos cuadrados pertenecen a la estadística básica en cuanto a predicción de modelos se refiere. Sin embargo, cuando nos encontramos con un conjunto de datos de grandes dimensiones son necesarios métodos más específicos. Uno de ellos es el caso de mínimos cuadrados penalizados, que será el objetivo principal de este trabajo. La razón es que en el momento que se tiene un gran número de datos, pueden aparecer problemas de colinealidad entre variables o que el número de variables sea mayor al número de datos obtenidos, entre otros. Si se tienen variables que están muy relacionadas entre sí, es frecuente que el modelo estimado presente sobreajuste y que en este se incluyan todas las variables predictoras con coeficientes muy poco interpretables en la realidad. Por esto y otras razones que veremos, es importante aplicar técnicas de regularización

Elementos matemáticos en la construcción de árboles filogenéticos

Desde sus orígenes la insaciable curiosidad del ser humano ha llevado al desarrollo acelerado de la filogenética, rama de la biología que se encarga de determinar las relaciones evolutivas entre individuos a través de matrices de ADN y morfología. Esta reconstrucción filogenética es el final de un extenso proceso. Este trabajo se centrará en dos partes muy específicas de la filogenética, analizando todos sus elementos matemáticos: la reconstrucción filogenética y los modelos evolutivos. En el primer capítulo se exponen las definiciones, propiedades básicas sobre árboles filogenéticos así como combinatoria básica de estos grafos. Se distinguen dos distancias fundamentales: la distancia ultramétrica, una distancia que permite aplicar el algoritmo UPGMA para la reconstrucción del árbol que relaciona las especies y por otro lado, la distancia aditiva, que tiene asociado un algoritmo mucho más general pero más complejo, el algoritmo Neighbour-Joining. Sin olvidar, que también existen métodos algebraicos que pueden reconstruir dicho árbol como es mínimos cuadrados. Una vez obtenido el árbol que relaciona a las especies, en el segundo capítulo se asocia a estas especies sus secuencias de ADN. Primero, se introduce un método para medir la compatibilidad de estas secuencias con el árbol que las relaciona, mediante el algoritmo Fitch-Hartigan. A partir de cadenas de Markov en tiempo contínuo, se ajusta el modelo evolutivo que mejor refleje el proceso de mutación en el árbol, empezando por un modelo básico y extendiéndolo a un modelo general en el que se permite modificar la variabilidad de los nucleótidos en la secuencia y la velocidad a la que éstos mutan. Además mediante máxima verosimilitud se expone un método de comparación entre los distintos modelos evolutivos. Finalmente, en el capítulo tres se aplican todos los conceptos descritos en los capítulos anteriores a dos conjuntos de datos, uno compuesto de secuencias de ADN de catorce mamíferos y el otro conjunto compuesto de rasgos fenotípicos de una especie de pájaros del género Geospiza

Introducción a la Regresión Cuantil. Estimación y extensión a modelos no paramétricos

La regresión cuantil fue introducida por Roger Koenker y Gib Basset (1978) buscando extender las ideas de estimación de función cuantil condicional. Estos modelos constan de una distribución condicional de la variable respuesta expresada en función de las covariables observadas. Los métodos de regresión cuantil son competitivos con el método de mínimos cuadrados en lo que se refiere al esfuerzo computacional gracias al descubrimiento del método simplex y al desarrollo en la programación lineal. La localización de los cuantiles asegura un tipo de robustez carente en muchos procedimientos estadísticos habituales, como, por ejemplo, los basados en minimizar una suma de residuos al cuadrado. La regresión cuantil está llegando a ser cada vez más útil en áreas como la Econometría, Finanzas, Biomedicina, búsqueda de patrones y en Estudios Ambientales. En el primer capítulo se realiza una introducción de los conceptos básicos de la regresión cuantil, como el término cuantil y la función de pérdida de un cuantil. Además, se muestra cómo el cuantil es solución de un problema de optimización y se da su distribución asintótica. Finalmente se comparan distintos métodos de estimación. En el segundo capítulo se hace una introducción a la regresión cuantil no paramétrica, donde se muestra que el estimador lineal local depende de la función kernel y el parámetro de suavizado h. Por último se dan diversos selectores de este parámetro h, como son el método plug-in o el de validación cruzada. El último capítulo es una aplicación en R de los modelos descritos en dos conjuntos de datos con varias funciones del paquete `quantreg'

Introducción a las curvas ROC para clasificadores binarios

La curva ROC (receiver operating characteristic) es una representación gráfica la cuál mide la capacidad diagnóstica de un clasificador binario al variar su umbral de decisión. Su uso está muy extendido en diversos campos como por ejemplo, en la medicina o en el aprendizaje automático supervisado. Dicha curva se puede representar como una expresión directa entre funciones de distribución de variables aleatorias por lo que se pueden aplicar técnicas estadísticas para estimarla. El objetivo de este trabajo es revisar las principales propiedades matemáticas de la curva poblacional, así como describir los principales métodos estadísticos para estimarla. Por último, consideramos la presencia de covariables y analizamos cómo incorporar esta información adicional en las curvas ROC. Terminamos con una aplicación a datos reales utilizando las últimas bibliotecas de R relacionadas con este tema.<br /

Algoritmo EM. Aplicaciones y extensiones

El algoritmo de Esperanza-Maximización (EM) es uno de los métodos fundamentales de la estimación máximo verosímil en modelos probabilísticos con variables no observables. Desde su reformulación en 1977, se ha aplicado en una gran variedad de áreas. Se terminará con una aplicación a problemas de clasificación con datos incompletos, programando algoritmo en R

Aprendizaje por Refuerzo. Elementos básicos y algoritmos

El aprendizaje por refuerzo es un área del estudio informático y matemático que engloba sistemas y algoritmos de aprendizaje sobre ordenadores. En particular, esta teoría es capaz de resolver los problemas deseados sin la necesidad del conocimiento estricto y completo de todos los parámetros del problema. Esta característica es muy conveniente ya que en muchos de los problemas reales, se desconocen estos parámetros o no se controlan con exactitud. Estos sistemas de aprendizaje proporcionan al ordenador la capacidad de aprender de los datos y no sólo de ejecutar unas funciones para las que están programadas

Introducción a los modelos de redes neuronales artificiales. El Perceptrón simple y multicapa

En los últimos años se ha consolidado un nuevo campo dentro de las ciencias de la computación que abarcaría un conjunto de metodologías que se caracterizan por su inspiración en los sistemas biológicos para resolver problemas relacionados con el mundo real; reconocimiento de imágenes y de voz, toma de decisiones, predicciones del tiempo atmosférico, etc. Las Redes Neuronales Artificiales, RNA, son las que actualmente están causando un mayor impacto, debido a su gran aplicación práctica, lo que ha llevado a incorporarlas al conjunto de herramientas estadísticas orientadas a la clasificación de patrones y la estimación de variables continuas. Estas redes son sistemas de procesamiento de la información cuya estructura y funcionamiento están inspirados en las redes neuronales biológicas. Consisten en un conjunto de elementos simples de procesamiento llamados neuronas conectadas entre sí por conexiones que tienen un valor numérico modificable llamado peso. La actividad que una neurona artificial realiza consiste en sumar los valores de las entradas que recibe, comparar esta cantidad con el valor umbral y, si lo iguala o supera, enviar una salida activada o en caso contrario, desactivada. Tanto las entradas que la unidad recibe como las salidas que envía dependen a su vez del peso de las conexiones por las cuales se realizan estas operaciones. El objetivo de estas redes neuronales es calcular los pesos, que son lo parámetros del modelo y para ello vamos a ver distintos tipos de algoritmos de aprendizaje. En el capítulo 1, hacemos una introducción a las redes neuronales. Explicamos los tres tipos de neuronas artificiales que existen dependiendo de la capa en la que se encuentran. El tipo de red que vamos a estudiar en esta memoria son las redes hacia delante. En el aprendizaje de una red neuronal se distinguen dos fases; la fase de aprendizaje o entrenamiento y la fase de validación. Dentro de la fase de aprendizaje vamos a estudiar el aprendizaje de tipo supervisado, en el que se presenta a la red un conjunto de patrones de entrada junto con la salida deseada. En el capítulo 2, estudiamos el Perceptrón, concepto que fue introducido en 1958 por Frank Rosenblantt y que se trata de un modelo simple de neurona basado en el modelo de McCulloch y Pitts y en una regla de aprendizaje que consiste en la detección y corrección del error que se produce cuando la salida de la unidad no coincide conla salida deseada. Una de las características más importantes de este modelo es su capacidad de aprender a reconocer patrones. Es el modelo más sencillo de redes neuronales artificiales. Utiliza la función signo como función de activación. En 1960 surgió otro modelo de aprendizaje llamado Adaline, similar al Perceptrón simple pero utiliza como función de activación la función identidad y en este caso la salida es continua. La regla de aprendizaje que utiliza es la regla Delta, que trata de determinar los pesos sinápticos de manera que se minimice la función de error cuadrático. Para ello utiliza la regla del descenso del gradiente, es decir, en la misma dirección pero sentido opuesto al gradiente. En el capítulo 3, se introduce el Perceptrón multicapa, que surge de la incapacidad del Perceptrón simple de implementar la función lógica XOR. Minsky y Papert demostraron que este problema podía ser resuelto introduciendo capas ocultas entre la capa de entrada y la de salida. En 1986 se abrió un nuevo panorama en el campo de la redes neuronales con el redescubrimiento del algoritmo de retropropagación. Se trata de un método eficiente para el entrenamiento de un Perceptrón multicapa. La regla de aprendizaje supervisado que se sigue para la determinación de los pesos sinápticos es muy similar que la del Adaline, pero ahora tenemos una capa de entrada compuesta por N neuronas de entrada, una número determinado de capas ocultas y M neuronas en la capa de salida. En esta memoria vamos a estudiar las redes que tienen una única capa oculta formada por L neuronas. Ahora la función de activación es una función diferenciable y no decreciente. Consideramos la función logística y la tangente hiperbólica. En el capítulo 4, vemos una aplicación de estos modelos en R. Primero comprobamos que el Perceptrón simple es capaz de implementar las funciones lógicas AND y OR y no la XOR, pero observamos como este problema se soluciona cuando introducimos una capa oculta de neuronas ya que entonces si es linealmente separable. Además, aplicamos estos algoritmos al caso práctico de concesión de créditos, con los datos de un banco alemán, ya que cuando un banco recibe una solicitud de préstamo, según el perfil del solicitante, tiene que tomar una decisión sobre si continuar con la aprobación del préstamo o no, teniendo en cuenta los riesgos que supone cada decisión y el objetivo del análisis es minimizar las pérdidas desde la perspectiva del banco. Realizamos un primer modelo de regresión logística y observamos que los resultados mejoran cuando añadimos una capa oculta. Estudiamos el número óptimo de neuronas que debe haber en esta capa para obtener un buen modelo de predicción y analizamos los resultados

Una introducción a los modelos factoriales en la teoría moderna de carteras

Harry Markowitz desarrolló el modelo que lleva su nombre durante los años 50, con el objetivo de encontrar una cartera de inversión óptima en términos de rendimiento y riesgo. Su hipótesis se basa en diseñar una cartera óptima para minimizar el riesgo mediante la diversificación, con la intención de comparar diferentes carteras y valores. Las rentabilidades son medidas por la esperanza matemática y el riesgo es medido por la varianza.Se ven limitaciones del modelo de Markowitz, lo que lleva a definir otros modelos con la ayuda del análisis factorial. Estos nuevos modelos asocianel rendimiento de un valor a factores de riesgos únicos o múltiples en un modelo lineal y pueden usarse como una alternativa a la teoría moderna de cartera.Se definen dos posibles modelos que mejoran el de Markowitz, el modelo CAPM y el modelo de tres factores de Fama - French.Por último, se realiza un estudio práctico con el objetivo de validar el grado de ajuste de los dos modelos factoriales a acciones de la bolsa española (IBEX 35) con la ayuda del lenguaje de programación R.<br /

Identificación de patrones y algoritmos de consolidación en bases de datos de posicionamiento

Hoy en día, muchos dispositivos cuentan con un sistema de geolocalización GPS que nos permite conocer la localización de un sujeto en tiempo real. Con el fin de obtener la mayor información posible en todo momento, estas posiciones recogidas se guardan en una base de datos que puede ser temporal o permanente. En el caso de ser permanente, nos encontraremos con el problema de que la base de datos puede crecer hasta un límite desmesurado en el que dispositivo que recoge y almacena esta información llene su memoria, impidiendo almacenar posiciones nuevas. En este momento, es necesario tomar la decisión de borrar parte de las posiciones almacenadas, según algún criterio. La dificultad en este momento es elegir el criterio con el cual eliminaremos este exceso de datos, por ejemplo, borrando posiciones repetidas o posiciones que no aporten la suficiente eficiencia en relación al espacio que ocupan en memoria. Esto introduce el concepto de función de consolidación o compactación, es decir una función que elimine un exceso de datos permitiéndonos conservar el máximo de información posible. El objetivo de este trabajo es analizar distintas técnicas para la consolidación de posiciones GPS, algunas ya existentes y otras a desarrollar

Introducción a la detección de anomalías por métodos de aprendizaje máquina

La detección de anomalías es un paso clave en cualquier proceso de análisis de datos. Se trata, en particular, de un proceso de limpieza de datos cuyo uso se aplica en numerosos campos como la medicina, la ciberseguridad, la estadística o el fraude financiero entre muchos otros. El objetivo de este trabajo es el de introducir al lector en los principales conceptos relacionados con el proceso de detección de anomalías, así como las propiedades de dos métodos utilizados para este proceso y la descripción de sus aplicaciones en conjuntos de datos reales.<br /