Profiling Bias in LLMs: Stereotype Dimensions in Contextual Word Embeddings

Large language models (LLMs) are the foundation of the current successes of artificial intelligence (AI), however, they are unavoidably biased. To effectively communicate the risks and encourage mitigation efforts these models need adequate and intuitive descriptions of their discriminatory properties, appropriate for all audiences of AI. We suggest bias profiles with respect to stereotype dimensions based on dictionaries from social psychology research. Along these dimensions we investigate gender bias in contextual embeddings, across contexts and layers, and generate stereotype profiles for twelve different LLMs, demonstrating their intuition and use case for exposing and visualizing bias

An Icelandic Linguistic Benchmark for Large Language Models

This paper introduces a linguistic benchmark for Icelandic-language LLMs, the first of its kind manually constructed by native speakers. We report on the scores obtained by current state-of-the-art models, which indicate room for improvement, and discuss the theoretical problems involved in creating such a benchmark and scoring a model's performance

Ornament and nihilism in modernist architecture based on the example of Adolf Loos

This thesis investigated the potential interplay between Nietzsche’s nihilism and modernist architecture, probing whether the rejection of ornamentation and emphasis on functionality within modernist architectural theory may harbor nihilistic implications. The study focused on the Austrian architect and theorist Adolf Loos, whose architectural solutions, designed to emphasize greater functionality, have been characterized as nihilistic. Drawing on the philosophical insights of Friedrich Nietzsche alongside the architectural theories of Adolf Loos, the study navigates through the possibilities of such connection. Nihilism, as a philosophical stance characterized by the negation of traditional values or an attempt to establish new ones, finds resonance in architecture where it is notably expressed through the deliberate rejection of preceding architectural conventions. The thesis focuses on ornamentation and its absence, exploring the architectural transformations of the late 19th and early 20th centuries, when attention shifted toward questions of values. Therefore Adolf Loos’s “Ornament and Crime” is the focal point of the thesis, although he was not the only architect of his time striving for similar changes.Käesolev bakalaureusetöö uuris 19. sajandi lõpus ja 20. sajandi alguses arhitektuuris aset leidnud muutusi, mille tulemusel loobuti ornamentikast arhitektuuri elemendina. Uurimuse keskmes oli Austria arhitekt ja arhitektuuriteoreetik Adolf Loos, kelle suurema funktsionaalsuse võtmes projekteeritud hoonete arhitektuurilisi lahendusi on iseloomustatud nihilistlikena. Töö eesmärk oli vaadelda mil moel on arhitektuuri ja nihilismi ilmingute kõrvutus võimalik. Nihilismi puhul oli peamiseks referendiks Friedrich Nietzsche. Kõrvutuse jaoks toetusin mõnele nihilismitüübile, millest selle töö kontekstis olid tähtsamad aktiivne ja passiivne nihilism. Nimetatud nihilismitüüpide ilminguid kõrvutasin arhitektuuris toimunuga. Samuti toetusin peamistele Nietzsche nihilismiga seotud võtmesõnadele, milleks olid: üleinimene, väärtuste väärtusetustumine ja võimutahe. Nihilismitüüpide ja Nietzsche nihilismikäsitusega seotud võtmesõnade läbi oli Adolf Loosi loominguga kõrvutatus võimalik. Täiendavaks toeks sellel võrdlusel oli afektiivsus, mille esinemist sai täheldada nii nihilismis kui ka arhitektuuris. Tundeline aspekt andis võimaluse siduda nihilistlikku mõtteteisenemist arhitektuuris täide viidud muutuste ja suundumustega. Arvestades Adolf Loosi essee „Ornament ja kuritegu“ tuntust, olid just tema kirjutised võetud arhitektuurilis-nihilistliku seose ilmestamiseks, olgugi et ta polnud ainus omaaegne arhitekt, kes sarnaseid muutusi taotles.https://ester.ester.ee/record=b573513

Mitmikagendilise arhitektuuri rakendamine nimeolemite märgendamiseks

Named Entity Recognition(NER) traditionally requires extensive domain-specific training data to achieve satisfactory performance for a given domain. Recent advancements in large language models have enabled the development of NER systems without supervised training, though this approach still requires careful prompt engineering and may need external knowledge augmentation during inference. This thesis introduces a novel domain-agnostic NER framework based on a collaborative multi-agent architecture that can adapt to any domain given only entity definitions and their descriptions. The framework consists of 4 high-level components: a team of agents, a metaprompter, a chat supervisor and a grounding engine. The system requires no training data or prompt engineering for new domains, operating as a few-shot solution for NER tasks. The framework's performance is evaluated across 4 distinct domains using standard NER benchmark datasets. Our evaluation shows that the multi-agent approach outperforms the baseline of few-shot NER with single LLM call in 3 out of 4 benchmarks, suggesting a promising direction for domain-agnostic NER. Ablation studies demonstrate varying effectiveness of each component on the system's performance depending on the domain, with the combination of three specialized agents and grounding engine proving generally most effective in all tested domains.Nimiolemite märgendamine(NER) nõuab mingis valdkonnas rahuldava tulemuse saamiseks tüüpiliselt massiivset valdkonnapõhist treeningandmestikku. Viimased edusammud suurte keelmudelite vallas on võimaldanud välja töötada NER-süsteeme juhendatud õppimiseta. See lähenemine nõuab aga hoolikat viipade loomist (prompt engineering) ja võib vajada lisaks domeenieksperdi sisendit. Käesoleva lõputöö raames valmis uus domeenist sõltumatu NER-raamistik, mis põhineb mitme agendi koostöö arhitektuuril ning suudab kohaneda erinevate valdkondadega, vajades vaid olemite definitsioone ja kirjeldusi. Raamistik koosneb neljast kõrgetasemelisest komponendist: agentide meeskonnast, metaviipajast, vestluse juhendajast ja tõendajast. Süsteem ei vaja uutes valdkondades olemeid tuvastades treeningandmeid ega eraldi viiba kohandamist, talitades nõnda väheste näidete lahendusena (few-shot solution) NER ülesannete raames. Raamistiku jõudlust hinnatakse neljas erinevas valdkonnas, kasutades standardseid NER-süsteemide hindamisandmeid. Saadud tulemused toetavad domeenist sõltumatu NER-süsteemi loomise võimalikkust, saavutades väheste näidetega üksikust viipamisest parema tulemuse kolmes valdkonnas neljast. Abaltsiooniuuringud näitavad, et iga komponendi efektiivsus varieerub valdkonnati, kusjuures kolme agendi ja tõendaja kombinatsioon osutus valdkondade üleselt üldiselt kõige tõhusamaks

Towards a Derivational Semantics Resource for Latvian

In this paper we describe the implementation of the first structured resource of semantic derivational links for Latvian, basing it on the largest online dictionary Tēzaurs.lv and linking it to the Latvian WordNet. We separate two kinds of derivational links: semantic derivation links between senses and morphological derivation links between lexemes. The semantic links between senses are defined as a pair of semantic labels assigned to both ends of the link. The process of semantic linking involves revising the sense inventory of both the base word and the derivative, defining semantic labels for lexemes of four basic word classes -- nouns, verbs, adjectives and adverbs, and adding the appropriate labels to the corresponding senses. We exemplify our findings with a detailed representation of sense relations between a base verb and its nominal derivatives

Euroopa Liidu väärtused Brexiti protsessis: väärtushinnangute lõhe Ühendkuningriigis ja Euroopa Liidu liikmesriikides

See töö uurib Ühendkuningriigi ja Euroopa Liidu liikmesriikide väärtushinnangutes toimunud nihkeid Brexiti protsessi ajal. Väärtused, mida käsitletakse tulenevad Euroopa Liidu alusdokumentidest. Kasutades European Social Survey rahvaküsitluste andmeid, analüüsitakse väärtushinnangute trende osapoolte vahel. Rahvaküsitluste küsimused analüüsitakse ja teisendatakse väärtuste mõõdetavateks esitusviisideks. Analüüsis kasutatakse mitteparameetrilisi statistilisi teste tõlgendamaks muutusi väärtustes. Tulemustest selgus, et Euroopa Liidu esindatavate väärtuste poolehoid oli mõlemal osapoolel languse trendis kuni Brexiti protsessi lõppemiseni. Brexiti protsessi lõppemine oli korrelatsioonis Ühendkuningriigis toimunud järsu väärtushinnangute poolehoiu suurenemise nihkega. Euroopa Liidu liikmesriikides stabiliseerus väärtuste poolehoiu vähenemise trend Brexiti protsessi lõppemisel. Väärtused, mille prioritiseerimise erinevus osapooltes suurenes vaadeldud perioodil on võrdsus, inimväärikus, solidaarsus, vabadus, demokraatia. Tulemused viitavad prioriteetide nihkele, ja kontekstuaalse raamistiku olulisusele riigi avalikus arvamuses, mis mõjutab baasväärtuste tõlgendust.https://www.ester.ee/record=b5733251*es

Lugusid Prinarovje piirkonnast kui osa narvalaste ajaloolisest mälust: kogemused Narva koolide kakskeelsete õpilaste kultuurilist identiteeti toetavate õppematerjalide loomisel

https://www.ester.ee/record=b574022

30-48-kuuste laste suhtlemise arengu küsimustiku reliaabluse hindamine

Käesoleva uuringu eesmärk oli Eestis väljatöötatud MacArthur-Batesi 30–48-kuuste laste suhtlemise arengu küsimustiku (ECDI-III) valideerimine kordustesti meetodil. Lõppvalimisse kuulus 69 lapsevanemat, kes täitsid taustandmete vormi ja ECDI-III küsimustiku kolmel korral vahemikus mai–juuli 2023. Kordustesti reliaabluse ja küsimustiku erinevate alaskaalade (sõnavara, süntaks, metalingvistiline teadlikkus) korrelatsiooni hindamiseks kasutati Pearsoni korrelatsioonikordajat ja klassisisese korrelatsiooni koefitsienti (ICC). Tulemused näitasid, et sõnavara, süntaksi ja koondskoori korduvmõõtmised olid omavahel väga tugevas (r > 0,9) ning metalingvistilise teadlikkuse korduvmõõtmised mõõdukas (r > 0,6) seoses. Samasugune muster ilmnes ka ICC näitajates, viidates heale ajaülesele stabiilsusele. Kokkuvõttes võib ECDI-III küsimustikku pidada usaldusväärseks 30–48-kuuste laste kõnearengu hindamisvahendiks, mille kasutuselevõtt nii kliinilises kui ka teaduspraktikas annaks uudse võimaluse hinnata laste suhtlemise arengut vanuses 30-48 kuud. Seega oleks see väärtuslik tööriist nii diagnostilistes protsessides kui ka teadusuuringutes

Poro 34B and the Blessing of Multilinguality

The pretraining of state-of-the-art large language models now requires trillions of words of text, which is orders of magnitude more than available for the vast majority of languages. While including text in more than one language is an obvious way to acquire more pretraining data, multilinguality is often seen as a curse, and most model training efforts continue to focus near-exclusively on individual large languages. We believe that multilinguality can be a blessing: when the lack of training data is a constraint for effectively training larger models for a target language, augmenting the dataset with other languages can offer a way to improve over the capabilities of monolingual models for that language. In this study, we introduce Poro 34B, a 34 billion parameter model trained for 1 trillion tokens of Finnish, English, and programming languages, and demonstrate that a multilingual training approach can produce a model that substantially advances over the capabilities of existing models for Finnish and excels in translation, while also achieving competitive performance in its class for English and programming languages. We release the model parameters, scripts, and data under open licenses at https://huggingface.co/LumiOpen/Poro-34B