Reinforcement Learning in Multi-Agent Path Finding

Multi-Agent Path Finding (MAPF) is a computationally demanding task aiming to generate collision-free paths for multiple agents operating in shared spaces. Methods for solving MAPF are versatile and developed; however, each approach has specific limitations in particular scenarios. This literature review presents a comparative analysis of analytical and reinforcement learning (RL) methods used in MAPF. The usability of these methods will be considered from the perspective of automated warehouses where both discrete and continuous path finding are applicable. Special attention is also given to Continuous Environment MAPF (CE-MAPF), where agents operate in the real-valued state and action spaces subject to kinematic constraints. Unlike discreet modeling of the environment, CE-MAPF reflects more realistic conditions for physical agents such as autonomous robots. With smooth trajectory planning and real-time coordination in dynamic and partially observable environments, agents can work more human-like, adapting to changes in the environment and moving more efficiently. While traditional grid-based methods are insufficient in such settings, RL methods—particularly when combined with analytical frameworks—show promise in managing the added complexity. In addition to the comparative analysis, this thesis discusses the potential of hybrid approaches combining both paradigms. Literature suggests hybrid approaches may be effective, as demonstrated by reviewed simulation studies, especially in large-scale and continuous environments. The thesis also identifies key challenges in integrating RL into MAPF systems, including generalization, reward shaping, and system-level coordination. Overall, the literature suggests hybrid MAPF solutions may offer advantages for robust, adaptive navigation systems for real-world applications.Moniagenttireitinhaku (engl. Multi-Agent Path Finding, MAPF) on tehtävä, jonka tarkoituksena on mahdollistaa toimijoiden liikkuminen yhteisessä ympäristössä ilman konflikteja. Tällaisia menetelmiä tarvitaan muun muassa varastoautomaatiossa, esimerkiksi Amazonin Kivarobottijärjestelmissä, sekä autonomisten ajoneuvojen ja drone-laivastojen reitinhallinnassa suljetuissa ympäristöissä, kuten tehtaissa tai logistiikkakeskuksissa. Tässä kirjallisuuskatsauksessa huomio on keskitetty varastoautomaatiossa käytettäviin menetelmiin, joiden kehitys on kiihtynyt teollisuuden vaatiessa tehokkaampia ja nopeampia varastoratkaisuja. MAPF eroaa merkittävästi perinteisestä yhdellä liikkujalle tehdystä reitinhausta, sillä järjestelmän täytyy ottaa huomioon agenttien keskinäiset vuorovaikutukset. Jokaisen agentin liike vaikuttaa mahdollisesti muiden agenttien mahdollisuuksiin liikkua. Reitinhaku voidaan toteuttaa lukuisilla eri menetelmillä, joiden tehokkuus ja käytettävyys vaihtelevat tilanteiden mukaan. Tässä työssä tarkastellaan erityisesti perinteisiä analyyttisia menetelmiä kuten A* ja CBS (Conflict Based Search) sekä vahvistusoppimiseen perustuvia menetelmiä kuten MCTS (Monte Carlo Tree Search) ja PRIMAL (Pathfinding via Reinforcement and Imitation Multi-Agent Learning). Perinteisiä menetelmiä yhdistävä ongelma on kuitenkin reitinhaun monimutkaistuminen agenttien määrän ja tiheyden kasvaessa. Vahvistusoppimiseen perustuvat menetelmät tarjoavat perinteisiin algoritmeihin verrattuna paremman kyvyn sopeutua dynaamisiin ympäristöihin ja epätäydelliseen tietoon, mutta ne vaativat usein laajaa koulutusaineistoa sekä tehokkaita simulointiympäristöjä. Työssä tarkastellaan myös millä tavalla menetelmien yhdistäminen hybridimenetelmiksi voisi mahdollistaa eri ratkaisuiden positiivisten puolien hyödyntämisen ilman niiden heikkouksien vahvistamista. Esimerkkeinä on käytetty tunnettuja menetelmiä, joiden toimintaperiaatteet ovat vähintään osittain yleistettävissä ja joiden yhdistämistä hybridiratkaisuksi on tutkittu. Tärkeimpinä tuloksina huomataan, että menetelmien heikkouksien vuoksi niiden yhdistäminen hybridiratkaisuksi on tuloksien kannalta järkevä vaihtoehto. Hybridimenetelmien käyttö on perusteltua erityisesti tilanteissa, joissa reitinhakuympäristö on osittain ennustettava mutta sisältää ajoittaista epävarmuutta, kuten satunnaisesti liikkuvia esteitä tai prioriteettimuutoksia tehtävissä. Tällöin pelkkä analyyttinen tai pelkkä oppimispohjainen lähestymistapa ei yleensä riitä tuottamaan tasaisen laadukkaita tuloksia. Työssä esitellään MCTS:n kehittäjien ajamien simulaatioiden tuloksia, joista voidaan huomata kehitystä sekä ratkaisuiden luotettavuudessa että nopeudessa. Menetelmistä huomataan myös yhteisiä puutteita sekä vahvuuksia ja pohditaan mikä näitä voisi aiheuttaa. Alalta yleisesti huomataan, että MAPF menetelmien kehitystä tulee jatkaa vielä, jotta saavutettaisiin kaikissa olosuhteissa sekä esimerkiksi jatkuvassa ympäristössä luotettavasti toimiva järjestelmä. Toisaalta tällä hetkellä edistyneimpiä järjestelmiä ei ole käytössä laajasti niiden asennus- ja käyttöönotto kustannusten sekä käyttöön vaaditun osaamisen puutteen vuoksi

The Development of Diverse Teaching Tools for Nordic Art Educators Through Design-Based Research

This master’s thesis employed Design-Based Research (DBR) to investigate how the development of teaching tools could support art teachers in Nordic countries to incorporate diversity, equity, and inclusion (DEI) in fine arts classrooms. This study identified discrepancies between governmental goals promoting inclusive education and cultural competencies and teachers’ reported lack of diversity integration and formal DEI training. In response, a set of lesson plans and accompanying teaching tools were developed through an iterative DBR process consisting of four phases which were tested with teachers to elicit feedback. User feedback indicated that the teaching materials were useful, particularly for novice teaching and that experienced teachers appreciated the ability to edit and adapt the materials to suit their own needs. However, more scaffolding and resources are needed in order for teachers to feel comfortable presenting activism and DEI topics with students. The research concludes that while adaptable teaching tools that highlight diverse artists are beneficial, consistent DEI integration requires teacher training, resources, and potentially mandates to ensure consistent equitable teaching practices

Intrinsic fluorescence in Moringa Oleifera seed extract

| openaire: EC/H2020/956248/EU//PICKFOODAutofluorescence, an intrinsic property of biological molecules that emit light upon excitation, is gaining significance as a noninvasive technique for studying plant-derived bioactive compounds. This phenomenon enables detection of biomolecules such as chlorophyll, lignin, flavonoids, and alkaloids without requiring external dyes or destructive extraction processes. Intrinsic fluorescence can also aid in detecting and identifying biomolecules that typically require extensive sample preparation (molecule labelling with external fluorophores), eliminating the need for external probes. The present study aims to report the intrinsic autofluorescence in the Moringa Oleifera plant, highlighting its potential to enhance noninvasive bioactive compound identification and quality assessment in plant-based products.Peer reviewe

Nikkelin vaikutukset kuparin tuotannossa: seuraukset erittäin puhtaan kuparin elektrolyysissä

The demand for high-purity copper is increasing due to the electrification of society. At the same time, the ore bodies are getting poorer, and there has been an increased emphasis on metal recycling. Most of the world’s high-purity copper is produced by electrorefining. Nickel is one of the main impurities in copper electrorefining, and the previously mentioned factors have resulted in increased nickel concentrations at the smelters and tankhouses, especially in operations that specialise in treating complex raw materials. This thesis studies the effects of Ni on Cu electrorefining and discusses the implications of the results for industrial electrorefining plants. Three main themes were investigated: Ni's contamination of the copper cathode, Ni’s effects on anode slime flow behaviour, and the impact of Ni on the physical quality of the cathode, i.e., roughness and nodule formation. Regular laboratory-scale copper electrorefining experiments were performed in traditional sulfuric acid media, with the focus of the thesis being on the behaviour of anode Ni and electrolyte Ni. Both industrial and synthetic electrolytes were used to investigate electrolyte Ni’s effects on copper electrorefining. Industrial anode samples were used to examine the impact of anodes on copper electrorefining. Anode slime detachment and cathode growth study results were verified in a bench-scale electrorefining cell. No definite upper limit for the anode Ni concentration could be determined. An upper limit of 20 g/L of Ni was proposed for the electrolyte due to the increased risk of rougher cathodes and cell passivation. Particle entrapment was the primary contamination mechanism of copper cathodes in the case of Ni. Synthetic anode slime composed of NiO and Fe2O3 did not cause cathode nodulation. Nodulation was observed with industrial anode slimes, but the industrial anode slime with less Ni (10.3 wt.%) resulted in more nodules than the industrial anode slime with higher Ni concentration (20.4 wt.%). Electrolyte inclusions were deemed plausible, but major micronodulation in the presence of conductive graphite was required for significant contamination. The electrodeposition of Ni does not happen in typical Cu electrorefining conditions. Increasing anode and electrolyte nickel concentrations led to an increased upward flow of anode slimes, at least during passivation. Increasing anode Ni concentrations increased upward flow of anode slimes throughout the electrolyte. In the case of the electrolyte, however, this phenomenon occurred only in the vicinity (1 mm) of the anode surface. The impact of electrolyte Ni was attributed to the increased porosity of the anode slime layer, while the changing anode slime mineralogy might explain the effect of anode Ni. Both anode and electrolyte Ni promoted the clustering of anode slime. Average, maximum and minimum anode slime settling velocities were 0.12 mm/s, 1.65 mm/s and -1.08 mm/s, respectively, during anode passivation (at 25 °C). At 60 °C, the anode slimes settled on average with a velocity of 1.4-49.6 mm/s, and upwards-moving slime could flow with a velocity of 2.5 mm/s. Design of Experiments (DOE) was used in combination with partial least square regression (PLSR) modelling to determine the impact of Ni and electrolyte additives (gelatine, thiourea and chloride) on the cathode roughness (Rz and Sm). Ni increased the Rz roughness of the Cu cathodes from 469 μm to 945 μm in the absence of additives. Ni alone did not affect the Sm roughness, but thiourea and Ni were found to have synergistic effects on smoothening the cathode surface. Laboratory cathodes were compared to industrial samples, and samples from both sources had similar surface roughnesses. While increasing Ni might cause rougher cathodes, variable importance in projections (VIP) suggests that additives have a more notable impact on cathode surface quality.Puhtaan kuparin kysyntä kasvaa yhteiskuntien sähköistymisen vuoksi. Samalla malmivarat köyhtyvät, ja metallien kierrätyksen merkitys kasvaa. Suurin osa maailman kuparista tuotetaan elektrolyyttisesti puhdistuselektrolyysillä. Nikkeli on yksi prosessin pääepäpuhtauksista, ja aiemmin mainitut tekijät ovat johtaneet nikkelin pitoisuuksien kasvuun kuparisulatoilla ja elektrolyysilaitoksilla, erityisesti toimijoilla, jotka ovat erikoistuneet monimuotoisten raaka-aineiden käsittelyyn. Tässä työssä tutkitaan nikkelin vaikutuksia kuparin puhdistuselektrolyysiin ja käsitellään tulosten merkitystä teolliselle toiminnalle. Työn kolme päätutkimusteemaa ovat: nikkelin aiheuttama kuparikatodin kontaminaatio, nikkelin vaikutus anodiliejun virtauskäyttäytymiseen, sekä nikkelin vaikutus katodin fyysiseen laatuun, kuten karheuteen ja ns. marjojen eli nystyröiden muodostumiseen. Laboratoriomittakaavan elektrolyysikokeita suoritettiin perinteisessä rikkihappoelektrolyytissä, ja tutkimuksen painopiste oli anodin ja elektrolyytin nikkelin käyttäytymisessä. Aiheita tutkittiin sekä teollisin ja synteettisin näyttein. Anodia koskevat tutkimukset toteutettiin teollisilla kuparianodinäytteillä. Anodiliejun virtaus- ja katodinkasvukokeiden tulokset varmennettiin suuremmalla elektrolyysikennolla. Anodin nikkelipitoisuudelle ei voitu määrittää ylärajaa. Elektrolyytin nikkelipitoisuuden ylärajaksi ehdotettiin 20 g/L katodin kasvavan karheuden ja kasvavan passivoitumisriskin vuoksi. Anodiliejua sisältävien partikkelisulkeumien todettiin olevan kuparikatodien pääasiallinen nikkelikontaminaatiomekanismi. Nikkelioksidista ja rauta(III)oksidista koostuva synteettinen anodilieju ei aiheuttanut katodille marjojen muodostumista. Teollisilla anodiliejuilla sen sijaan marjoja havaittiin, mutta matalanikkelinen (10,3 p.-%) teollinen lieju aiheutti marjaisempia katodeja kuin korkeanikkelinen (20,4 p.-%) teollinen anodilieju. Elektrolyyttisulkeumat olivat mahdollisia, mutta merkittävä kontaminaatio vaati sähköjohtavan grafiitin luomaa mikronystyröitymistä. Nikkelin ei havaittu pelkistyvän sähkökemiallisesti tavanomaisissa kuparin puhdistuselektrolyysin olosuhteissa. Anodin ja elektrolyytin nikkelipitoisuuksien kasvu lisäsi anodiliejun ylöspäin suuntautuvaa virtausliikettä anodin passivoitumisen aikana. Anodin nikkelipitoisuuden kasvaessa ilmiö oli havaittavissa koko elektrolyytin tilavuudella, mutta elektrolyytin nikkelipitoisuuden kasvaessa tämä ilmiö tapahtui vain anodipinnan läheisyydessä (1 mm). Elektrolyytin nikkelin vaikutuksen epäiltiin johtuvan anodiliejukerroksen huokoistumisesta, kun anodin nikkelipitoisuuden vaikutus on taas selitettävissä anodin mineralogisilla muutoksilla. Sekä anodin että elektrolyytin nikkelipitoisuuden kasvu johti anodiliejurykelmien yleistymiseen. Anodiliejun keskimääräinen, suurin ja pienin laskeutumisnopeus olivat 0,12 mm/s, 1,65 mm/s ja -1,08 mm/s anodin passivoituessa (25 °C). 60 °C:ssa anodilieju laskeutui tyypillisesti 1,4-49,6 mm/s nopeudella, ja ylöspäin virtaava lieju saattoi virrata jopa 2,5 mm/s nopeudella. Työssä käytettiin tilastollista koesuunnittelua regressiomallinnuksen (PLSR) kanssa. Näin tutkittiin nikkelin ja elektrolyytin lisäaineiden (gelatiini, tiourea ja kloridi) vaikutuksia katodin karheuteen (Rz ja Sm). Elektrolyytin kasvava nikkelipitoisuus lisäsi kuparikatodien Rz-karheutta 469 μm:stä 945 μm:in kun lisäaineita ei käytetty. Yksinään nikkeli ei vaikuttanut Sm-karheuteen, mutta tiourean ja nikkelin havaittiin vaikuttavan synergisesti katodin pinnan tasoittumiseen. Laboratoriossa tuotettuja katodeja verrattiin teollisiin näytteisiin, ja näiden todettiin olevan pinnankarheuksiltaan samankaltaisia. Vaikka lisääntyvä nikkeli saattaa aiheuttaa karheampia katodeja, ennustusmallinnuksen muuttujien tärkeys (VIP) viittaa siihen, että lisäaineet vaikuttavat nikkeliä enemmän katodin pinnanlaatuun

Vertaileva analyysi pankkijärjestelmistä: Kuinka EU voi kaventaa taloudellista kuilua Yhdysvaltoihin pankkikonsolidaation avulla

This thesis examines the structural and regulatory differences between the banking systems of the European Union (EU) and the United States (US), with a focus on the role of banking consolidation in enhancing economic competitiveness. Using a comparative quantitative analysis based on the Herfindahl-Hirschman Index (HHI), the study measures market concentration levels and simulates potential mergers among leading EU banks to assess their impact on competitiveness. The findings reveal that the EU banking sector is significantly more fragmented, as measured by the Herfindahl-Hirschman Index (HHI ≈ 162), than the US (HHI ≈ 726), limiting its ability to achieve economies of scale, operational efficiency, and global financial influence. Consolidation in the EU could yield several benefits, including revenue diversification, stronger market power, and increased capacity for technological investment. However, achieving these gains requires overcoming regulatory fragmentation and facilitating cross-border mergers. The research concludes that a more integrated and consolidated EU banking system is essential for narrowing the economic gap with the United States and strengthening the global position of European financial institutions.Tämä kandidaattitutkielma tarkastelee Euroopan unionin ja Yhdysvaltojen pankkijärjestelmien rakenteellisia ja sääntelyyn liittyviä eroja, keskittyen erityisesti pankkien konsolidoinnin rooliin taloudellisen kilpailukyvyn vahvistamisessa. Vertailuun perustuvassa kvantitatiivisessa analyysissa hyödynnetään Herfindahl-Hirschman-indeksiä (HHI) markkinakeskittymisen mittaamiseen, ja tutkimus simuloi mahdollisia yritysfuusioita johtavien EU-pankkien välillä arvioidakseen niiden vaikutuksia kilpailukykyyn. Tulokset osoittavat, että EU:n pankkisektori on selvästi hajanaisempi (HHI ≈ 162) kuin Yhdysvaltojen (HHI ≈ 726), mikä rajoittaa sen kykyä saavuttaa skaalaetuja, toiminnallista tehokkuutta ja maailmanlaajuista taloudellista vaikutusvaltaa. Konsolidaatio EU:ssa voisi tuoda useita hyötyjä, kuten tulonlähteiden monipuolistamista, vahvempaa markkinavoimaa ja suurempaa kykyä investoida teknologiaan. Näiden hyötyjen saavuttaminen edellyttää kuitenkin sääntelyn pirstaleisuuden vähentämistä ja rajat ylittävien fuusioiden helpottamista. Tärkeimmät havainnot osoittavat, että integroituneempi ja konsolidoidumpi EU:n pankkijärjestelmä on välttämätön taloudellisen kuilun kaventamiseksi Yhdysvaltoihin nähden sekä eurooppalaisten rahoituslaitosten globaalin aseman vahvistamiseksi

Leveraging Federated Satellite Systems for Unmanned Medical Evacuation on the Battlefield

Publisher Copyright: © 2025 by the authors.This paper evaluates the role of federated satellite systems (FSSs) in enhancing unmanned vehicle-supported military medical evacuation (MEDEVAC) missions. An FSS integrates multiple satellite systems, thus improving imaging and communication capabilities compared with standalone satellite systems. A simulation model is developed for a MEDEVAC mission where the FSS control of an unmanned aerial vehicle is distributed across different countries. The model is utilized in a simulation experiment in which the capabilities of the federated and standalone systems in MEDEVAC are compared. The performance of these systems is evaluated by using the most meaningful metrics, i.e., mission duration and data latency, for evacuation to enable life-saving procedures. The simulation results indicate that the FSS, using low-Earth-orbit constellations, outperforms standalone satellite systems. The use of the FSS leads to faster response times for urgent evacuations and low latency for the real-time control of unmanned vehicles, enabling advanced remote medical procedures. These findings suggest that investing in hybrid satellite architectures and fostering international collaboration promote scalability, interoperability, and frequent-imaging opportunities. Such features of satellite systems are vital to enhancing unmanned vehicle-supported MEDEVAC missions in combat zones.Peer reviewe

Differences of communication activity and mobility patterns between urban and rural people

| openaire: EC/H2020/654024/EU//SoBigData | openaire: EC/H2020/871042/EU//SoBigData-PlusPlusHuman mobility and other social activity patterns influence various aspects of society such as urban planning, traffic predictions, crisis resilience, and epidemic prevention. The behaviour of individuals, like their communication frequencies and movements, are shaped by societal and socio-economic factors. In addition, the differences in the geolocation of people as well as their gender and age cast effects on their activity patterns. In this study we focus on investigating these patterns by using mobile phone data, specifically the call detail records (CDRs), to analyze the social communication and mobility patterns of people. This dataset can provide us insight into the individual and population-level behaviours in rural and urban environments on a daily, weekly and seasonal basis. The results of our analyses show that in the urban areas people have high calling activity but low mobility, while in the rural areas they show the opposite behaviour, i.e. low calling activity combined with high mobility. Overall, there is a decreasing trend in people’s mobility through the year even though their calling activity remained consistent except for the holidays during which time the communication frequency drops markedly. We have also observed that there are significant differences in the mobility between the work days and free days. Finally, the age and gender of individuals have also been observed to play a role in the seasonal patterns differently in urban and rural areas.Peer reviewe

Behind the dust veil : A panchromatic view of an optically dark galaxy at z = 4.82

Publisher Copyright: © 2025 EDP Sciences. All rights reserved.Optically dark dusty star-forming galaxies (DSFGs) play an essential role in massive galaxy formation at early cosmic time; however, their nature remains elusive. Here, we present a detailed case study of all the baryonic components of a z = 4.821 DSFG, XS55. Selected from the ultra-deep COSMOS-XS 3 GHz map with a red SCUBA-2 450 μm/850 μm colour, XS55 was followed up with ALMA 3 mm line scans and spectroscopically confirmed to be at z = 4.821 via detections of the CO(5-4) and [CI](1-0) lines. JWST/NIRCam imaging reveals that XS55 is a F150W drop-out with a red F277W/F444W colour and a complex morphology: a compact central component embedded in an extended structure with a likely companion. XS55 is tentatively detected in X-rays with both Chandra and XMM-Newton, suggesting an active galactic nucleus nature. By fitting a panchromatic spectral energy distribution spanning from near-infrared to radio wavelengths, we reveal that XS55 is a massive main-sequence galaxy with a stellar mass of M∗ = (5 ± 1)×1010 M⊙ and a star formation rate of SFR = 540 ± 177 M⊙ yr- 1. The dust of XS55 is optically thick in the far-infrared with a surprisingly cold dust temperature of Tdust = 33 ± 2 K, making XS55 one of the coldest DSFGs at z > 4 known to date. This work unveils the nature of a radio-selected F150W drop-out, suggesting the existence of a population of DSFGs hosting active black holes embedded in optically thick dust.Peer reviewe

Experimental and numerical characterization of hydro-mechanical properties of rock fractures : The effect of the sample size on roughness and hydraulic aperture

Publisher Copyright: © 2024 The Author(s)This paper investigated fluid flow in low-stress conditions through rock fractures in Kuru granite measuring 25 cm × 25 cm. Physical aperture and roughness were measured using high-precision photogrammetry. Anisotropy in roughness was observed in two perpendicular directions. Physical aperture under normal stresses was measured, and fracture closure was compared with linear variable displacement transducer (LVDT) measurements, showing good agreement. Hydromechanical tests exhibited nonlinear behavior between fluid pressure gradient and flow rate, following the Forchheimer equation. Applying normal stress resulted in decreased hydraulic aperture and increased nonlinearity of fluid flow. Experimental hydromechanical tests also revealed anisotropy in perpendicular directions, aligning with fracture roughness measurements. Photogrammetric models, aided COMSOL simulations, closely matched the experimental results. Increased stress induced channeled flow and greater tortuosity. Validation of the numerical model allowed simulations on larger fractures. A 2 m × 1 m granite fracture studied scale effects, with the rough surface duplicated and shifted by 350 μm to align with initial aperture measurements of 25 cm × 25 cm samples. Fluid flow simulations assessed subsample sizes (5 cm–100 cm), showing size-dependent variations in roughness, hydraulic aperture, and non-Darcy coefficient, stabilizing beyond 30 cm. This underscores sample size's role in parameter stabilization beyond a 30 cm scale.Peer reviewe

Beyond the table : An exploration in new forms of dining experiences

This thesis explores supper clubs and pop-up restaurants as innovative dinner formats and examines the main motivations for people to participate in these ephemeral dining settings. Additionally, it researches social media and marketing strategies. The study identifies six key motivational components: ephemerality, exclusivity, visual appeal, ambiance, innovation, and sense of belonging. Through a quantitative approach involving surveys and statistical analysis, three distinct consumer profiles—Aesthetic Explorers, Trend Seekers, and Community Enthusiasts—were identified and each prioritized different aspects of these dining experiences. By considering the ephemerality, social connection and marketing dynamics associated with liquid consumption, this research offers theoretical insights and practical recommendations to supper club hosts, restaurateurs and event organisers. Limitations of the study and directions for future research are also discussed in this research