Efficient global optimization: Motivation, variations and applications

A popular optimization method of a black box objective function is Efficient Global Optimization (EGO), also known as Sequential Model Based Optimization, SMBO, with kriging and expected improvement. EGO is a sequential design of experiments aiming at gaining as much information as possible from as few experiments as feasible by a skillful choice of the factor settings in a sequential way. In this paper we will introduce the standard procedure and some of its variants. In particular, we will propose some new variants like regression as a modeling alternative to kriging and two simple methods for the handling of categorical variables, and we will discuss focus search for the optimization of the infill criterion. Finally, we will give relevant examples for the application of the method. Moreover, in our group, we implemented all the described methods in the publicly available R package mlrMBO

Time efficient optimization of instance based problems with application to tone onset detection

A time efficient optimization technique for instance based problems is proposed, where for each parameter setting the target function has to be evaluated on a large set of problem instances. Computational time is reduced by beginning with a performance estimation based on the evaluation of a representative subset of instances. Subsequently, only promising settings are evaluated on the whole data set. As application a comprehensive music onset detection algorithm is introduced where several numerical and categorical algorithm parameters are optimized simultaneously. Here, problem instances are music pieces of a data base. Sequential model based optimization is an appropriate technique to solve this optimization problem. The proposed optimization strategy is compared to the usual model based approach with respect to the goodness measure for tone onset detection. The performance of the proposed method appears to be competitive with the usual one while saving more than 84% of instance evaluation time on average. One other aspect is a comparison of two strategies for handling categorical parameters in Kriging based optimization

Musikklassifikation mittels auditorischer Modelle zur Optimierung von Hörgeräten

In der Dissertation werden für drei Musikklassifikationsprobleme - Toneinsatzzeiterkennung, Tonhöhenschätzung und Instrumentenklassifikation - Verfahren entwickelt, die auf der Ausgabe eines Simulationsmodells des menschlichen Hörvorgangs (Ohrmodell) aufbauen. Für modifizierte Ohrmodelle, die eine Hörschädigung simulieren, kann mit Hilfe dieser Verfahren evaluiert werden, wie gut Musik differenziert wird. Ziel eines Hörgeräts ist es, die Identifizierbarkeit von Musikeigenschaften zu steigern. Durch die Verknüpfung eines Hörgerätealgorithmus mit dem Ohrmodell und den Musikklassifikationsverfahren kann somit die Güte des Hörgeräts für eine durch das Ohrmodell gegebene Hörschädigung bewertet werden. Für die Paramateroptimierung des Hörgerätealgorithmus mit Hilfe der sequentiellen modellbasierten Optimierung (MBO) wird diese Bewertung als Kostenfunktion verwendet. Für die Schätzung der drei untersuchten Klassifikationsprobleme existieren bereits umfangreiche Forschungsarbeiten, die jedoch üblicherweise nicht die Ohrmodellausgabe sondern die akustische Wellenform als Grundlage nutzen. Daher werden zunächst die entwickelten Verfahren gegen diese Standardverfahren getestet. Für die Vergleichsexperimente wird ein statistischer Versuchsplan, dem ein Plackett-Burman-Design zu Grunde liegt, aufgestellt, um die untersuchten Musikdaten in einer strukturierten Form auszuwählen. Es wird gezeigt, dass die Ohrmodellbasierte Merkmalsgrundlage keinen Nachteil darstellt, denn für die Tonhöhenschätzung und die Instrumentenklassifikation werden sogar die Ergebnisse der Standardverfahren übertroffen. Lediglich bei der Einsatzzeiterkennung schneidet das entwickelte Verfahren etwas schlechter ab, für das jedoch weitere Verbessserungsideen vorgeschlagen werden. Durch den Versuchsplan werden acht musikalische Einflussgrößen berücksichtigt. Für diese wird evaluiert, wie sie sich auf die Güte der Klassifikationsverfahren auswirken. Neben vielen erwarteten Ergebnissen, z.B. die größeren Fehlerraten bei einer Streicherbegleitung auf Grund der klanglichen Nähe zum Cello, kommen auch einige unerwartete Ergebnisse heraus. Beispielsweise sind höhere Tonhöhen und kürzere Töne vorteilhaft für die Einsatzzeiterkennung, wohingegen tiefere Tonhöhen die Ergebnisse der Instrumentenerkennung verbessern. Der Versuchsplan wird auch für einen Vergleich des normalen Ohrmodells (ohne Hörschädigung) mit drei Modellen, die unterschiedliche Hörschädigungen simulieren (Hearing Dummies), verwendet. Für all diese Modelle steigen die Fehlerraten der Musikklassifikationsverfahren in plausiblen Stärken, die abhängig von den Hörschädigungen sind. Schließlich wird die praktische Anwendbarkeit des Bewertungsverfahrens in einer leicht vereinfachten Form, die aus Rechenzeitgründen lediglich die Ergebnisse der Instrumentenerkennung berücksichtigt, für die Optimierung eines Hörgerätealgorithmus getestet. Dabei wird MBO verwendet, um das Hörgerät optimal an eine starke Hörschädigung (Hearing Dummy 1) anzupassen. Durch das optimierte Hörgerät wird die Fehlklassifikationsrate stark reduziert, und auch eine vergleichende Experteneinstellung wird geschlagen (27% ohne Hörgerät, 19% mit Hörgerät und Experteneinstellung, 14% mit optimiertem Hörgerät). Wie die Auswertung des Versuchsplans zeigt, wird am stärksten die Klassifikationsgüte für Musikstücke mit Streicherbegleitung verbessert. Am Ende der Dissertation wird noch umfangreich diskutiert, welche Möglichkeiten es gibt, die Laufzeit von MBO für das vorgestellte Optimierungsproblem zu reduzieren