A systematic study comparing hyperparameter optimization engines on tabular data

We run an independent comparison of all hyperparameter optimization (hyperopt) engines available in the Ray Tune library. We introduce two ways to normalize and aggregate statistics across data sets and models, one rank-based, and another one sandwiching the score between the random search score and the full grid search score. This affords us i) to rank the hyperopt engines, ii) to make generalized and statistically significant statements on how much they improve over random search, and iii) to make recommendations on which engine should be used to hyperopt a given learning algorithm. We find that most engines beat random search, but that only three of them (HEBO, AX, and BlendSearch) clearly stand out. We also found that some engines seem to specialize in hyperopting certain learning algorithms, which makes it tricky to use hyperopt in comparison studies, since the choice of the hyperopt technique may favor some of the models in the comparison

Measurement of the muon signal using the temporal and spectral structure of the signals in surface detectors of the Pierre Auger Observatory

Applying different filtering techniques to the temporal distribution of the signals measured with the Auger surface detector array (SD), we separate the electromagnetic and muonic signal components of air-showers. The filters are based on the different characteristics of the muonic and electromagnetic components in individual detectors, the former being composed of peaks above a smooth background due to the lower energy deposition of the latter photons and electrons. The muon signal is derived for showers of 10 EeV primary energy at a core distance of 1 km, with the aim of testing the predictions of hadronic interaction models. We compare the fraction of the muonic signal and the total signal to model predictions for proton and iron primaries in a range of zenith angles from 0 to 60◦ .Fil: Balazs, Kegl. Université Paris Sud; FranciaFil: Aab, A. Universitat Siegen; AlemaniaFil: Allekotte, Ingomar. Comisión Nacional de Energía Atómica. Gerencia del Área de Energía Nuclear. Instituto Balseiro. Archivo Histórico del Centro Atómico Bariloche e Instituto Balseiro | Universidad Nacional de Cuyo. Instituto Balseiro. Archivo Histórico del Centro Atómico Bariloche e Instituto Balseiro; ArgentinaFil: Almela, Daniel Alejandro. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Instituto de Tecnología en Detección y Astropartículas. Comisión Nacional de Energía Atómica. Instituto de Tecnología en Detección y Astropartículas. Universidad Nacional de San Martín. Instituto de Tecnología en Detección y Astropartículas; ArgentinaFil: Bertou, Xavier Pierre Louis. Comisión Nacional de Energía Atómica. Gerencia del Área de Energía Nuclear. Instituto Balseiro. Archivo Histórico del Centro Atómico Bariloche e Instituto Balseiro | Universidad Nacional de Cuyo. Instituto Balseiro. Archivo Histórico del Centro Atómico Bariloche e Instituto Balseiro; ArgentinaFil: Dova, Maria Teresa. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - La Plata. Instituto de Física La Plata. Universidad Nacional de La Plata. Facultad de Ciencias Exactas. Instituto de Física La Plata; ArgentinaFil: Figueira, Juan Manuel. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Instituto de Tecnología en Detección y Astropartículas. Comisión Nacional de Energía Atómica. Instituto de Tecnología en Detección y Astropartículas. Universidad Nacional de San Martín. Instituto de Tecnología en Detección y Astropartículas; ArgentinaFil: Filevich, Alberto. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Instituto de Tecnología en Detección y Astropartículas. Comisión Nacional de Energía Atómica. Instituto de Tecnología en Detección y Astropartículas. Universidad Nacional de San Martín. Instituto de Tecnología en Detección y Astropartículas; ArgentinaFil: Garcia, Beatriz Elena. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Instituto de Tecnología en Detección y Astropartículas. Comisión Nacional de Energía Atómica. Instituto de Tecnología en Detección y Astropartículas. Universidad Nacional de San Martín. Instituto de Tecnología en Detección y Astropartículas; ArgentinaFil: Gomez Berisso, Mariano. Comisión Nacional de Energía Atómica. Gerencia del Área de Energía Nuclear. Instituto Balseiro. Archivo Histórico del Centro Atómico Bariloche e Instituto Balseiro | Universidad Nacional de Cuyo. Instituto Balseiro. Archivo Histórico del Centro Atómico Bariloche e Instituto Balseiro; ArgentinaFil: Gómez Vitale, P. F.. Observatorio Pierre Auger; ArgentinaFil: González, N.. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Instituto de Tecnología en Detección y Astropartículas. Comisión Nacional de Energía Atómica. Instituto de Tecnología en Detección y Astropartículas. Universidad Nacional de San Martín. Instituto de Tecnología en Detección y Astropartículas; ArgentinaFil: Hansen, Patricia Maria. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - La Plata. Instituto de Física La Plata. Universidad Nacional de La Plata. Facultad de Ciencias Exactas. Instituto de Física La Plata; ArgentinaFil: Harari, Diego Dario. Comisión Nacional de Energía Atómica. Gerencia del Área de Energía Nuclear. Instituto Balseiro. Archivo Histórico del Centro Atómico Bariloche e Instituto Balseiro | Universidad Nacional de Cuyo. Instituto Balseiro. Archivo Histórico del Centro Atómico Bariloche e Instituto Balseiro; ArgentinaFil: Jarne, Cecilia Gisele. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - La Plata. Instituto de Física La Plata. Universidad Nacional de La Plata. Facultad de Ciencias Exactas. Instituto de Física La Plata; ArgentinaFil: Mariazzi, Analisa Gabriela. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - La Plata. Instituto de Física La Plata. Universidad Nacional de La Plata. Facultad de Ciencias Exactas. Instituto de Física La Plata; ArgentinaFil: Melo, Diego Gabriel. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Instituto de Tecnología en Detección y Astropartículas. Comisión Nacional de Energía Atómica. Instituto de Tecnología en Detección y Astropartículas. Universidad Nacional de San Martín. Instituto de Tecnología en Detección y Astropartículas; ArgentinaFil: Micheletti, Maria Isabel. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Rosario. Instituto de Física de Rosario. Universidad Nacional de Rosario. Instituto de Física de Rosario; ArgentinaFil: Mollerac, S.. Comisión Nacional de Energía Atómica. Gerencia del Área de Energía Nuclear. Instituto Balseiro. Archivo Histórico del Centro Atómico Bariloche e Instituto Balseiro | Universidad Nacional de Cuyo. Instituto Balseiro. Archivo Histórico del Centro Atómico Bariloche e Instituto Balseiro; ArgentinaFil: Pallotta, Juan Vicente. Ministerio de Defensa. Instituto de Investigaciones Científicas y Técnicas para la Defensa; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; ArgentinaFil: Platino, Manuel. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Instituto de Tecnología en Detección y Astropartículas. Comisión Nacional de Energía Atómica. Instituto de Tecnología en Detección y Astropartículas. Universidad Nacional de San Martín. Instituto de Tecnología en Detección y Astropartículas; ArgentinaFil: Quel, Eduardo Jaime. Consejo Nacional de Investigaciones Científicas y Técnicas. Unidad de Investigación y Desarrollo Estratégico para la Defensa. Ministerio de Defensa. Unidad de Investigación y Desarrollo Estratégico para la Defensa; ArgentinaFil: Ristori, P.. Ministerio de Defensa. Instituto de Investigaciones Científicas y Técnicas para la Defensa; ArgentinaFil: Roulet, Esteban. Comisión Nacional de Energía Atómica. Gerencia del Área de Energía Nuclear. Instituto Balseiro. Archivo Histórico del Centro Atómico Bariloche e Instituto Balseiro | Universidad Nacional de Cuyo. Instituto Balseiro. Archivo Histórico del Centro Atómico Bariloche e Instituto Balseiro; ArgentinaFil: Rovero, Adrian Carlos. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Ciudad Universitaria. Instituto de Astronomía y Física del Espacio(i); ArgentinaFil: Sánchez, F.. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Instituto de Tecnología en Detección y Astropartículas. Comisión Nacional de Energía Atómica. Instituto de Tecnología en Detección y Astropartículas. Universidad Nacional de San Martín. Instituto de Tecnología en Detección y Astropartículas; ArgentinaFil: Sato, R.. Observatorio Pierre Auger; ArgentinaFil: Scarso, C.. Observatorio Pierre Auger; ArgentinaFil: Sciutto, Sergio Juan. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - La Plata. Instituto de Física La Plata. Universidad Nacional de La Plata. Facultad de Ciencias Exactas. Instituto de Física La Plata; ArgentinaFil: Supanitsky, Alberto Daniel. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Ciudad Universitaria. Instituto de Astronomía y Física del Espacio(i); ArgentinaFil: Tapia, A.. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Instituto de Tecnología en Detección y Astropartículas. Comisión Nacional de Energía Atómica. Instituto de Tecnología en Detección y Astropartículas. Universidad Nacional de San Martín. Instituto de Tecnología en Detección y Astropartículas; ArgentinaFil: Videla, M.. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Instituto de Tecnología en Detección y Astropartículas. Comisión Nacional de Energía Atómica. Instituto de Tecnología en Detección y Astropartículas. Universidad Nacional de San Martín. Instituto de Tecnología en Detección y Astropartículas; ArgentinaFil: Tueros, Matias Jorge. Universidad de Santiago de Compostela; EspañaFil: Wainberg, O.. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Parque Centenario. Instituto de Tecnología en Detección y Astropartículas. Comisión Nacional de Energía Atómica. Instituto de Tecnología en Detección y Astropartículas. Universidad Nacional de San Martín. Instituto de Tecnología en Detección y Astropartículas; ArgentinaFil: The Pierre Auger Collaboration. No especifíca;33rd International Cosmic Ray ConferenceRío de JaneiroBrasilInternational Union of Pure and Applied Physic

Technical Report #IRO-1271. Three NLP Kernels.

This report describes three kernels for structured data: a tree kernel, a string kernel, and a kernel for hierarchical acyclic graphs. All of these structures occurr often in natural language processing and bioinformatics applications, and allow certain machine learning algorithms to deal with them in a more informed manner. The three kernels are briefly compared and the possbility of combining them is considered.

Boosting on Manifolds: Adaptive Regularization of Base Classifiers

In this paper we propose to combine two powerful ideas, boosting and manifold learning. On the one hand, we improve ADABOOST by incorporating knowledge on the structure of the data into base classifier design and selection. On the other hand, we use ADABOOST's efficient learning mechanism to significantly improve supervised and semi-supervised algorithms proposed in the context of manifold learning. Beside the specific manifold-based penalization, the resulting algorithm also accommodates the boosting of a large family of regularized learning algorithms

Classifier cascades and trees for minimizing feature evaluation cost

Machine learning algorithms have successfully entered industry through many real-world applications (e.g., search engines and product recommendations). In these applications, the test-time CPU cost must be budgeted and accounted for. In this paper, we examine two main components of the test-time CPU cost, classifier evaluation cost and feature extraction cost, and show how to balance these costs with the classifier accuracy. Since the computation required for feature extraction dominates the test-time cost of a classifier in these settings, we develop two algorithms to efficiently balance the performance with the test-time cost. Our first contribution describes how to construct and optimize a tree of classifiers, through which test inputs traverse along individual paths. Each path extracts different features and is optimized for a specific sub-partition of the input space. Our second contribution is a natural reduction of the tree of classifiers into a cascade. The cascade is particularly useful for class-imbalanced data sets as the majority of instances can be early-exited out of the cascade when the algorithm is sufficiently confident in its prediction. Because both approaches only compute features for inputs that benefit from them the most, we find our trained classifiers lead to high accuracies at a small fraction of the computational cost