Performance estimation methods for diagnosing model quality degradation under covariate shift

openThis study explores the underexplored domain of performance degradation in machine learn- ing models, a common challenge in dynamic data environments. While the academic community often prioritizes the development of new training methods to enhance model performance on benchmark datasets, little attention has been given to sustaining those high levels of performance post-deployment or identifying when performance starts to decade. In a rapidly evolving data landscape, where covariate shifts can significantly impact model performance, understanding and mitigating performance degradation issues becomes essential. To tackle this issue, this study introduces three comprehensive tests. The Temporal Degradation Test examines how various models perform when trained on different samples of the same dataset, shedding light on degradation patterns. The Continuous Retraining Test simulates a production environment by assessing the impact of continuous model retraining. Finally, the Performance Estimation Test explores the potential of performance estimation methods, such as Direct Loss Estimation (DLE), to identify degradation without ground truth data. Our findings reveal diverse degradation patterns influenced by machine learning methodologies, with continuous retraining offering partial relief but not complete resolution. Performance estimation methods emerge as vital early warning systems, enabling timely interventions to maintain model efficacy.This study explores the underexplored domain of performance degradation in machine learn- ing models, a common challenge in dynamic data environments. While the academic community often prioritizes the development of new training methods to enhance model performance on benchmark datasets, little attention has been given to sustaining those high levels of performance post-deployment or identifying when performance starts to decade. In a rapidly evolving data landscape, where covariate shifts can significantly impact model performance, understanding and mitigating performance degradation issues becomes essential. To tackle this issue, this study introduces three comprehensive tests. The Temporal Degradation Test examines how various models perform when trained on different samples of the same dataset, shedding light on degradation patterns. The Continuous Retraining Test simulates a production environment by assessing the impact of continuous model retraining. Finally, the Performance Estimation Test explores the potential of performance estimation methods, such as Direct Loss Estimation (DLE), to identify degradation without ground truth data. Our findings reveal diverse degradation patterns influenced by machine learning methodologies, with continuous retraining offering partial relief but not complete resolution. Performance estimation methods emerge as vital early warning systems, enabling timely interventions to maintain model efficacy

GUÍA DE EVALUACIÓN DEL APRENDIZAJE ELABORACIÓN Y ADMINISTRACIÓN DE PROYECTOS TSUAR

GUÍA DE EVALUACIÓN DEL APRENDIZAJ

IoT Application Provisioning Service

Constant development of software requires updating our Internet of Things (IoT) devices regularly. Some services such as transportation, health care, surveillance and electronic payments require high availability, even during a software update. IoT updates in urban scenarios require connectivity based on the Internet Protocol (IP) and long range connection with adequate speed. Normally, these requirements are provided by cellular network (i.e., using a SIM card) to connect to the Internet. This option presents several disadvantages: it is very expensive and it exposes IoT devices to security threats due to the permanent connection to the Internet. These challenges could be addressed by leveraging long-range broadcast communication (e.g., FM broadcast). IoT devices periodically listen for and receive updates through such a communication infrastructure, without actually being connected to the Internet. This thesis presents a system to provide software updates for IoT devices through long-range broadcast communication technologies. A prototype has been developed based on the concept of “seamless updates”. This allows performing software updates in the background, hence ensuring the availability of a device during the installation time of an update. This seamless update process was implemented on an embedded device (i.e., a Raspberry Pi 3) with a Linux-based operating system. Furthermore, a web-based backend has been implemented. Such a backend allows IoT developers to upload their updates targeting a specific class of devices and schedule when the update will be sent. The security goals of integrity and authentication are accomplished by signing the updates in the backend and verifying it at the IoT device. Moreover, a performance evaluation is performed for the system upgrade service with different parameters to sign the updates

Evaluation of an acoustic detection algorithm for reactive collision avoidance in underwater applications

Thesis (S.B.)--Massachusetts Institute of Technology, Dept. of Mechanical Engineering, 2013.Cataloged from PDF version of thesis.Includes bibliographical references (page 33).This thesis sought to evaluate a vehicle detection algorithm based on a passive acoustic sensor, intended for autonomous collision avoidance in Unmanned Underwater Vehicles. By placing a hydrophone at a safe distance from a dock, it was possible to record the acoustic signature generated by a small motor boat as it navigated towards, and then away from the sensor. The time-varying sound intensity was estimated by Root Mean Square of the sound amplitude in discrete samples. The time-derivative of the sound intensity was then used to estimate the time to arrival, or collision, of the acoustic source. The algorithm was found to provide a good estimate of the time to collision, with a small standard deviation for the projected collision time, when the acoustic source was moving at approximately constant speed, providing validation of the model at the proof-of-concept level.by Oscar Alberto Viquez Rojas.S.B

Un sistema alternativo de intercambio comercial: el comercio justo

Each day, each and every one ofus becomes conamners; every selection done, gives direction to lhe lIlllrlcet and lhe economy inside lhe country and worldwide. Today, we have lhe freedom to choose from a variety ofproducts and brands !hat cover our needa and desires, but rarely, we stop to think about lhe people and lhe process!hat made possible lhe axrival oflhese products to lhe shelves where lhey are displayed. The trulh is lha! lhe system leading lhe global supp!ies lIlllrlcet is controlled by 20 corporations. In this system, lhe producer docs not always obtain lhe payment !hat may suit lhe value of lheir done han! work in order to get lhe product, marginalizing lhe access ofa decent !ife. The aim ofthis paper is to characterize an alternative trade system: "Fair Trade", which seeks to reward lhe producer for his work integrating!he products price, lhe social, economic and environmental costs

Caracterización del consumidor de productos orgánicos en la ciudad de Toluca, Méx.

México, es un importante productor de alimentos orgánicos, sin embargo el consumo de éstos entre su población es solamente del 15% de la producción, y de éste únicamente el 5% se comercializa como Producto Orgánico (PO) mientras que el restante 10% se comercializa como producto convencional. Entre otras razones que se presentan para el bajo consumo son: la difusa ubicación en el punto de venta; la baja inversión por parte de los productores para la difusión e identificación del concepto orgánico así como los beneficios que otorgan. Dado que la comercialización de productos orgánicos manifiesta un desarrollo endógeno y día a día cobra auge hacia la exportación, el presente trabajo tiene como objetivo determinar las características de los consumidores de productos orgánicos en la Cd. de Toluca, Méx., a través de un análisis de los resultados de la aplicación de encuestas. La investigación se llevó a cabo en tres etapas: 1) Investigación documental, 2) Aplicación de encuesta, 3) Análisis de resultados. Se aplicaron 386 encuestas de enero a marzo del 2011; para tipificar al consumidor final de PO, que tiene las siguientes características: un rango de edad de 24 a 35años, la decisión de comprar depende del género femenino, con un nivel de estudios superior, empleados y de Nivel Socio Económico (NSE) C+; la tendencia de consumo presenta un 44% , las variables que influyen en el consumo son: productos costosos, desconocimiento de los beneficios y difíciles de encontrar en el mercado, son preferidos a los productos convencionales por ser considerados productos saludables y en fresco, el consumidor los reconoce por el empaque y el sello de certificación, las compras se realizan semanalmente con gasto entre $200.00-$500.00

La efectividad de las redes de protección social: El rol de los sistemas integrados de información social en Costa Rica

Este trabajo forma parte de una serie de estudios realizados en el marco del proyecto “La efectividad de las redes de protección social: El rol de los sistemas integrados de información social”. Los estudios de caso fueron realizados en el período 2007-2008.

Mecanismos de cooperación utilizados por las empresas para incrementar su rentabilidad individual

Proyecto de Graduación (Licenciatura en Administración de Empresas. Énfasis en Banca y Finanzas) Instituto Tecnológico de Costa Rica, Escuela de Administración de Empresas, 2006Cuando las organizaciones son exitosas tienden a crecer o, como mínimo, a sobrevivir. El crecimiento exige mayor complejidad en los recursos necesarios para ejecutar las operaciones, debido a que se incrementa el capital, la tecnología, las actividades de apoyo, entre otros; además provoca el aumento del número de personas y genera la necesidad de intensificar la aplicación de conocimientos, habilidades y destrezas indispensables para mantener la competitividad del negocio. De esta forma, las empresas se garantizan que los recursos materiales, financieros y tecnológicos se utilicen con eficiencia y eficacia, y que las personas representen la diferencia competitiva que mantiene y promueve el éxito organizacional; constituyen la competencia básica de la organización, su principal ventaja competitiva en un mundo globalizado, inestable y cambiante. El trabajo de investigación que a continuación se desarrollará es el producto de una necesidad de conocimiento por parte de los miembros de este grupo sobre las nuevas tendencias y estrategias de reacción y defensa a las cuales acuden las organizaciones ante la amenaza que representa la globalización del mercado y que a su vez, es altamente competitivo y exigente, es así como nos damos a la tarea de realizar una investigación profunda de la información existente a cerca de “los mecanismos de cooperación utilizados por las empresas para incrementar su rentabilidad individual”. Para de esta manera, poder brindar una opinión certera y adaptada a la realidad de nuestro país, respecto de este tema. La necesidad de aumentar estrategias como la cooperación tiene como fin primordial aprovechar al máximo los beneficios que ofrece la globalización y reformas estructurales a nivel empresarial que les permitan a las empresas aumentar la productividad y la competitividad, de manera que con éxito se maximicen los beneficios que ofrece la asociatividad y la cooperación en la minimización de riesgos, la maximización de la productividad, la disminución de costos sean los pilares fundamentales. El presente estudio se encuentra estructurado en un tomo; el mismo presenta la parte investigativa y analítica del mismo, según el detalle que se muestra a continuació