Deep reinforcement learning : a study of the CartPole problem

One of the major challenges of artificial intelligence is to learn solving tasks which are considered to be challenging for even a human. Reinforcement learning is the most general learning framework among the three main type of learning methods: supervised, unsupervised and reinforcement learning. Most of the problems can easily fit into this framework. Experience shows that a lot of machine learning methods with non-linear function approximators suffers from instability regarding convergence. Reinforcement learning is more prone to diverge due to its ability to change the structure of its training data by modifying the way how it interacts with the environment. In this paper we investigate the divergence issue of DQN on the CartPole problem in terms of the algorithm’s parameters. Instead of the usual approach we do not focus on the successful trainings but instead we focus on the dark side where the algorithm fails on such an easy problem like CartPole. The motivation is to gain some further insight into the nature of the divergence issues on a specific problem

Optimization of a physical internet based supply chain using reinforcement learning

Physical Internet based supply chains create open, global logistics systems that enable new types of collaboration among participants. The open system allows the logistical examination of vehicle technology innovations such as the platooning concept. This article explores the multiple platoon collaboration. For the reconfiguration of two platoons a heuristic and a reinforcement learning (RL) based models have been developed. To our knowledge, this work is the first attempt to apply an RL-based decision model to solve the problem of controlling platoon cooperation. Vehicle exchange between platoons is provided by a virtual hub. Depending on the various input parameters, the efficiency of the model was examined through numerical examples in terms of the target function based on the transportation cost. Models using platoon reconfiguration are also compared to the cases where no vehicle exchange is implemented. We have found that a reinforcement learning based model provides a more efficient solution for high incoming vehicle numbers and low dispatch interval, although for low vehicle numbers heuristics model performs better. Document type: Articl

Az energetikai irányváltás küszöbén

Jelen kiadvány az ELTE TTK Környezet- és Tájföldrajzi Tanszékén folyó energiaföldrajzi kutatások keretében készült írásokat tartalmaz. Tanszékünkön a fenntartható energiagazdálkodás oktatása jelenleg több egymásra épülő tantárgy keretében folyik, így a leginkább érdeklődő hallgatók akár két teljes éven át is foglalkozhatnak a témával. Ennek során az alapozástól eljuthatnak az energiatervezés elméletéig és gyakorlatáig, eközben részt vehetnek a tanszéken folyó energiatervezéssel kapcsolatos kutatási tevékenységben, így például az „Erre van előre” energiatervezési kutatócsoport munkájában, vagy az ELTE által támogatott projektben, ami az energiatárolás lehetőségeit vizsgálja egy komplex környezetgazdálkodási-energiagazdálkodási környezetben, esetleg az OTKA által támogatott energiaföldrajzi-tájföldrajzi kutatásban. Ez utóbbi projekt keretében három magyarországi mintaterületen folynak vizsgálatok a decentralizált energiarendszer terjedésével várhatóan együttjáró tájvédelmi jellegű konfliktusok elkerülése, mérséklése érdekében. Jelen kötetbe gyűjtött írások ezen kutatási projekt egyes részproblémáinak feltérképezését, feldolgozását célozzák

A fotonszámláló detektoros CT működési alapelve, előnyei és jelentősége a klinikai gyakorlatban = Photoncounting-detector CT: Basic principles, advantages and implications in clinical practice

Az elmúlt évtizedben fizikai és preklinikai vizsgálatokkal igazolták az alapjaiban új típusú, fotonszámláló komputertomográfiás (CT) detektor kiváló képalkotási tulajdonságait, míg napjainkban a páréves klinikai felhasználás egyre szélesebb körű tapasztalatait veszik számba. A klinikai gyakorlatban elterjedt, hagyományos CT-berendezésekben energiaintegráló detektorok (EID) találhatók, melyek indirekt konverziós technológiával alakítják át a röntgenfotonok energiáját elektromos jellé. Ezzel ellentétben a fotonszámláló CT detektorai (PCD) közvetlenül és magasabb hatásfokkal képesek elektromos jellé alakítani a röntgenfotonok energiáját, megszámlálni az egyes röntgenfotonok által létrehozott töltéseket és mérni azok energiaszintjét. Az új PCD-technológia számos előnyt nyújt a hagyományos EID-technológiával összevetve: egyrészt kisebb sugárterhelés mellett jobb térbeli felbontású, kedvezőbb jel/zaj arányú, kevesebb sugárkeményedési („beam-hardening”) műterméket tartalmazó és alacsonyabb elektronikus zajjal terhelt CT-képeket hoz létre, másrészt lehetővé teszi a spektrális képalkotást, valamint csökkentett dózisú kontrasztanyag alkalmazására is lehetőséget ad. Összefoglaló közleményünk a PCD-CT műszaki és fizikai alapelveit ismerteti, valamint áttekintést nyújt annak előnyeiről és a klinikai gyakorlatban való felhasználásáról. | Over the last decade, an esentially new type of computed tomography (CT) detector, namely the photoncounting detector has demonstrated its superior capabilities over traditional CT detectors in both physical and preclinical evaluations, while is now at the stage of early clinical experiences. Conventional CT scanners available today for routine clinical practice use energy integrated detectors (EID) which rely on indirect conversion technology. In contrary, the newly-introduced photon-counting detectors (PCD) utilize a direct conversion method allowing to count the number of x-ray photons and carry detailed information about the energy level of each individual x-ray photon. Due to the fundamental changes in the physical mechanisms responsible for photon detection and signal creation, PCDs have several benefits over traditional CT detectors. In comparison to current CT technology, PCDCT can produce better spatial resolution, reduced electronic noise with a higher contrast-to-noise ratio, reduced beam-hardening and metal artifacts. Furthermore, from the spectral information, this new technology is capable to reconstruct virtual monoenergetic images and optimize iv. contrast agent dose. In our current review article, technical principles and physics of PCDs and, in addition, early clinical experiences with their applications are summarized

Development and Characterisation of Gastroretentive Solid Dosage Form Based on Melt Foaming

Dosage forms with increased gastric residence time are promising tools to increase bioavailability of drugs with narrow absorption window. Low-density floating formulations could avoid gastric emptying; therefore, sustained drug release can be achieved. Our aim was to develop a new technology to produce low-density floating formulations by melt foaming. Excipients were selected carefully, with the criteria of low gastric irritation, melting range below 70°C and well-known use in oral drug formulations. PEG 4000, Labrasol and stearic acid type 50 were used to create metronidazole dispersion which was foamed by air on atmospheric pressure using in-house developed apparatus at 53°C. Stearic acid was necessary to improve the foamability of the molten dispersion. Additionally, it reduced matrix erosion, thus prolonging drug dissolution and preserving hardness of the moulded foam. Labrasol as a liquid solubiliser can be used to increase drug release rate and drug solubility. Based on the SEM images, metronidazole in the molten foam remained in crystalline form. MicroCT scans with the electron microscopic images revealed that the foam has a closed-cell structure, where spherical voids have smooth inner wall, they are randomly dispersed, while adjacent voids often interconnected with each other. Drug release from all compositions followed Korsmeyer-Peppas kinetic model. Erosion of the matrix was the main mechanism of the release of metronidazole. Texture analysis confirmed that stearic acid plays a key role in preserving the integrity of the matrix during dissolution in acidic buffer. The technology creates low density and solid matrix system with micronsized air-filled voids