miniNLPlab: A toolkit for local configuration and evaluation of small language models

Abstract

Die Bachelorarbeit entwickelt „miniNLPLab“ als lokal ausführbares, grafisches Toolkit, das Nutzer*innen ohne Programmierkenntnisse erlaubt, kleine Sprachmodelle zu konfigurieren, zu trainieren und zu vergleichen. Ausgehend davon, dass bestehende Frameworks meist CLI-basiert sind und keine durchgängige Live-Visualisierung bieten, lautet die zentrale Forschungsfrage: Wie kann ein lokal ausführbares Toolkit gestaltet werden, das Nutzer*innen ermöglicht, konfigurierbare Sprachmodelle zu erstellen und deren Leistung bei ausgewählten NLP-Aufgaben systematisch zu vergleichen? Zunächst führt die Arbeit eine Literaturrecherche zu etablierten Tools durch und bewertet diese anhand von definierten Kriterien und grenzt das zu entwickelnde Toolkit von diesen ab. Die Implementierung erfolgt in einer dreischichtigen Architektur: Präsentation, Applikationslogik sowie die benötigte Softwareinfrastruktur. Wesentliche Ergebnisse zeigen, dass „miniNLPLab“ per Drag-and-Drop deklarative Modellzusammenstellung, einen Klick-basierten Trainingsstart, Echtzeit-Visualisierung und Vergleich mehrerer Läufe ermöglicht. Die klare Trennung von Applikationslogik und UI sichert die Wartbarkeit. In der Diskussion wird betont, dass das System ressourcenschonend kleine Modelle unterstützt, aber größere Modelle nur bedingt abdeckt. Empfohlen wird, ein kontextsensitives Hilfesystem einzubauen sowie verteiltes Training und Hyperparameter-Suche zu integrieren.The bachelor thesis develops "miniNLPLab" as a locally executable, graphical toolkit that allows users without programming knowledge to configure, train and compare small language models. Based on the fact that existing frameworks are mostly CLI-based and do not offer consistent live visualization, the central research question is: How can a locally executable toolkit be designed that enables users to create configurable language models and systematically compare their performance on selected NLP tasks? First, the paper conducts a literature review of established tools, evaluates them based on defined criteria and differentiates the toolkit to be developed from them. The implementation is based on a three-layer architecture: presentation, application logic and the required software infrastructure. Key results show that “miniNLPLab” enables declarative model compilation, a click-based training start, real-time visualization and comparison of multiple runs via drag-and-drop. The clear separation of application logic and UI ensures maintainability. In the discussion, it is emphasized that the system supports small models in a resource-saving manner, but only covers larger models to a limited extent. It is recommended to include a context-sensitive help system and to integrate distributed training and hyperparameter search