The Effectiveness of World Models for Continual Reinforcement Learning

World models power some of the most efficient reinforcement learning algorithms. In this work, we showcase that they can be harnessed for continual learning - a situation when the agent faces changing environments. World models typically employ a replay buffer for training, which can be naturally extended to continual learning. We systematically study how different selective experience replay methods affect performance, forgetting, and transfer. We also provide recommendations regarding various modeling options for using world models. The best set of choices is called Continual-Dreamer, it is task-agnostic and utilizes the world model for continual exploration. Continual-Dreamer is sample efficient and outperforms state-of-the-art task-agnostic continual reinforcement learning methods on Minigrid and Minihack benchmarks.Comment: Accepted at CoLLAs 2023, 21 pages, 15 figure

The significant impact of age on the clinical outcomes of laparoscopic appendectomy : results from the Polish Laparoscopic Appendectomy multicenter large cohort study

Acute appendicitis (AA) is the most common surgical emergency and can occur at any age. Nearly all of the studies comparing outcomes of appendectomy between younger and older patients set cut-off point at 65 years. In this multicenter observational study, we aimed to compare laparoscopic appendectomy for AA in various groups of patients with particular interest in the elderly and very elderly in comparison to younger adults. Our multicenter observational study of 18 surgical units assessed the outcomes of 4618 laparoscopic appendectomies for AA. Patients were divided in 4 groups according to their age: Group 1- 8 days. Logistic regression models comparing perioperative results of each of the 3 oldest groups compared with the youngest one showed significant differences in odds ratios of symptoms lasting >48hours, presence of complicated appendicitis, perioperative morbidity, conversion rate, prolonged LOS (>8 days). The findings of this study confirm that the outcomes of laparoscopic approach to AA in different age groups are not the same regarding outcomes and the clinical picture. Older patients are at high risk both in the preoperative, intraoperative, and postoperative period. The differences are visible already at the age of 40 years old. Since delayed diagnosis and postponed surgery result in the development of complicated appendicitis, more effort should be placed in improving treatment patterns for the elderly and their clinical outcome

Risk factors for serious morbidity, prolonged length of stay and hospital readmission after laparoscopic appendectomy : results from Pol-LA (Polish Laparoscopic Appendectomy) multicenter large cohort study

Laparoscopic appendectomy (LA) for treatment of acute appendicitis has gained acceptance with its considerable benefits over open appendectomy. LA, however, can involve some adverse outcomes: morbidity, prolonged length of hospital stay (LOS) and hospital readmission. Identification of predictive factors may help to identify and tailor treatment for patients with higher risk of these adverse events. Our aim was to identify risk factors for serious morbidity, prolonged LOS and hospital readmission after LA. A database compiled information of patients admitted for acute appendicitis from eighteen Polish and German surgical centers. It included factors related to the patient characteristics, peri- and postoperative period. Univariate and multivariate logistic regression models were used to identify risk factors for serious perioperative complications, prolonged LOS, and hospital readmissions in acute appendicitis cases. 4618 laparoscopic appendectomy patients were included. First, although several risk factors for serious perioperative complications (C-D III-V) were found in the univariate analysis, in the multivariate model only the presence of intraoperative adverse events (OR 4.09, 95% CI 1.32-12.65, p = 0.014) and complicated appendicitis (OR 3.63, 95% CI 1.74-7.61, p = 0.001) was statistically significant. Second, prolonged LOS was associated with the presence of complicated appendicitis (OR 2.8, 95%CI: 1.53-5.12, p = 0.001), postoperative morbidity (OR 5.01, 95% CI: 2.33-10.75, p < 0.001), conversions (OR 6.48, 95% CI: 3.48-12.08, p < 0.001) and reinterventions after primary procedure (OR 8.79, 95% CI: 3.2-24.14, p < 0.001) in the multivariate model. Third, although several risk factors for hospital readmissions were found in univariate analysis, in the multivariate model only the presence of postoperative complications (OR 10.33, 95% CI: 4.27-25.00), reintervention after primary procedure (OR 5.62, 95% CI: 2.17-14.54), and LA performed by resident (OR 1.96, 95%CI: 1.03-3.70) remained significant. Laparoscopic appendectomy is a safe procedure associated with low rates of complications, prolonged LOS, and readmissions. Risk factors for these adverse events include complicated appendicitis, postoperative morbidity, conversion, and re-intervention after the primary procedure. Any occurrence of these factors during treatment should alert the healthcare team to identify the patients that require more customized treatment to minimize the risk for adverse outcomes

Synteza układu sterowania mechanizmu o strukturze równoległo-szeregowej

Promotor: Zdzisław Gosiewski.Niepublikowana praca doktorska. Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie. Wydział Inżynierii Mechanicznej i Robotyki, 2016.Tyt. z ekranu tyt.Praca doktorska.Zawiera bibliogr.Dostępna również w wersji drukowanej.Tryb dostępu: Internet.Przykłady mechanizmów z synchronizacją parametrów ruchu, przyjęty kierunek badań, elementy automatyki w egzoszkieletach, układy napędowe, systemy pomiarowe, sterowniki, układ wspomagania kończyny dolnej człowieka jako obiekt sterowania, system pomiarowy, system wspomagający pacjenta, opis matematyczny współpracujących układów, zależności kinematyczne obiektów, model dynamiczny układu wspomagającego kończyny dolne, model matematyczny siłowników, nieliniowy model konstrukcji mechanicznej, modelowanie i symulacja działania układu wykonawczego, synchronizacja sygnałów sterujących urządzeniem wykonawczym, założenia algorytmu, algorytm przygotowania sygnałów pomiarowych, algorytm buforowania sygnałów, algorytm synchronizacji przemieszczeń kątowych metoda I, algorytm tworzenia krzywych zastępczych dla trajektorii metoda I, algorytm tworzenia krzywych zastępczych o ograniczonych parametrach dynamicznych metoda II, układ sterowania układem wykonawczym, struktura układu sterowania, implementacja sprzętowa układu sterowania oraz wizualizacji, weryfikacja układu sterowania, prędkości oraz przyspieszenia kątowe w charakterystycznych przegubach układu wykonawczego, równania opisujące parametry macierzy charakteryzującej współczynnik Z(t), opis oraz instrukcja programu do obsługi systemu forsowania przemieszczeń w stawach kończyny dolnej, prędkości oraz przyspieszenia dla równań Hermite’

Origins of japanese nationalism in the light of modern theories

Autor pracy podejmuje się przekrojowej analizy czynników, które doprowadziły do wykształcenia się narodu i nacjonalizmu japońskiego, przede wszystkim w okresie Edo i Meiji. Za punkt odniesienia dla tych rozważań posłużyły modernistyczne teorie nacjonalizmu Ernesta Gellnera, Benedicta Andersona oraz Anthony’ego Smitha. Obserwując przemiany Japonii przez pryzmat kolejnych koncepcji, autor dokonuje charakterystyki kluczowych elementów składających się na powstanie narodu japońskiego. Są to między innymi: industrializacja, nowy system podziału pracy, obowiązek służby wojskowej, państwowy system edukacyjny, wynalazek masowego druku oraz etniczne dziedzictwo.The concept of nation as a product of modernity has a comparatively short history with its beginning in the second half of the 20th century. It has been also very rarely used to describe Japanese nation and nationalism. This study sheds the light on Japanese modernization from the angle of modern nationalism theories framed by Ernest Gellner, Benedict Anderson and Anthony Smith. Although each work provides a disparate perspective on the description of the origins of Japanese nationalism, the combination of mentioned theories results in a very coherent view on the issue. The main factors which influenced the shaping of Japanese nation are: industrialization, new system of the division of labour, military service, state educational system, mass printing and ethnic heritage

Sekurytywy w konwersacji w języku japońskim: studium porównawcze użytkowników japońszczyzny jako L1 oraz L2

Użycie sekurytywów (wyrażeń zmniejszających zaangażowanie mówiącego w treść wypowiedzi) w języku japońskim jest popularną strategią retoryczną, którą można postrzegać jako zjawisko związane z “grzecznością” językową, ale też jako fenomen o charakterze estetycznym. Pomimo ich powszechności, poprawne użycie, jak również interpretacja sekurytywów niejednokrotnie stanowi wyzwanie dla osób uczących się języka japońskiego. Celem niniejszej pracy jest wskazanie wybranych kontekstów podatnych na zjawisko sekurytyzacji (tj. takich, w których używana jest znacząca ilość ww. wyrażeń) oraz analiza zachowań językowych użytkowników języka japońskiego jako L2 w tych kontekstach, z naciskiem na użycie sekurytywów.Do badania zostało zaproszonych 10 osób władających japońszczyzną jako językiem ojczystym i 10 osób uczących się tego języka (rodzimych użytkowników języka polskiego i angielskiego). Z uczestnikami przeprowadzono wywiady w celu uzyskania ich wypowiedzi przynależących do pięciu analizowanych kontekstów: opinia, fakt ogólny, fakt osobisty, ocena negatywna, ocena pozytywna. W odniesieniu do grupy użytkowników języka japońskiego jako L1 zostały sformułowane trzy hipotezy: (1) W języku japońskim sekurytywy używane są częściej, kiedy mówiący wygłasza swoją opinię, niż kiedy odnosi się do faktów; (2) W języku japońskim sekurytywy używane są częściej, kiedy mówiący odwołuje się do własnych doświadczeń, niż kiedy mówi o powszechnie znanych faktach; (3) W języku japońskim sekurytywy używane są częściej, kiedy mówiący wyraża negatywną opinię, niż kiedy wygłasza pozytywną opinię.Wszystkie trzy hipotezy znalazły potwierdzenie w wywiadach przeprowadzonych z rodzimymi użytkownikami języka japońskiego, w związku z czym trzy konteksty zostały wskazane jako podatne na zjawisko sekurytyzacji: „opinia”, „fakt osobisty” oraz „negatywna ocena”. Wśród osób uczących się tego języka jako L2 tylko pierwsza hipoteza okazała się prawdziwa, podczas gdy dane dotyczące pozostałych dwóch były niejednoznaczne. Na podstawie zebranego materiału wyciągam wniosek, że dwa z wymienionych wyżej kontekstów („fakt osobisty” oraz „negatywna ocena”) nie są postrzegane przez uczestników niniejszego badania z grupy L2 jako konteksty, w których konieczne jest użycie sekurytywów. Następnie dowodzę, że te różnice można wyjaśnić poprzez odwołanie się do odmienności kulturowych, które przejawiają się na poziomie językowym, w szczególności pojęć charakterystycznych dla japońskiego systemu wartości, a obcych rodzimym użytkownikom języka polskiego i angielskiego, takich jak omoiyari (‘empatia’), ittaikan (‘poczucie wspólnoty/jedności’) i enryo (‘ograniczenie’). W końcowej części zwracam też uwagę na błędy w zakresie użycia sekurytywów popełniane przez osoby uczące się języka japońskiego: ograniczone słownictwo, niepotrzebne użycie wyrażeń wzmacniających siłę illokucyjną wypowiedzi, a także wymuszone stosowanie wyszukanych wyrażeń.Obserwacje poczynione w tej pracy mogą znaleźć zastosowanie w pedagogice języka japońskiego, jak również przyszłych opracowaniach dotyczących funkcjonowania sekurytywów w języku japońskim.In Japanese language, hedging is a popular rhetorical strategy that can be interpreted as both a politeness and an aesthetics phenomenon. Despite their commonness, proper use and comprehension of hedging expressions might be a challenge for many Japanese language learners. The aim of this study is to identify some hedging-sensitive contexts in Japanese language and examine Japanese L2 speakers’ hedging performance in these contexts.Ten Japanese native speakers and ten L2 speakers (native speakers of English and Polish) were interviewed in order to obtain data from five analysed conversational contexts: opinion, general fact, personal fact, negative evaluation, and positive evaluation. Three hypotheses were posited in regard to L1 speakers: (1) Japanese hedges are used more often when speaker states his opinion than when he talks about facts; (2) Japanese hedges are used more often when speaker refers to facts concerning his personal life than when he refers to generally known facts; (3) Japanese hedges are used more often when speaker expresses his negative opinion than when he states his positive opinion. All three hypotheses were confirmed in the data obtained from L1 speakers, and three contexts were identified as comparatively hedging-sensitive: “opinion”, “personal fact”, and “negative evaluation”. However, only the first hypothesis was confirmed among L2 speakers. The latter two were not confirmed; therefore, I concluded that L2 speakers did not find the “personal fact” and “negative evaluation” contexts as hedging-sensitive as the native speakers’ group. I prove that this can be explained by the disparity of values ingrained in native languages of the participants, especially characteristic of Japanese culture concepts of omoiyari (‘empathy'), ittaikan (‘feeling of unity’), and enryo (‘restraint’). Finally, I list three common mistakes that Japanese language learners might need to work on: poor vocabulary, unnecessary use of reinforcing expressions in hedging-sensitive contexts, as well as forced use of elaborate hedges. Observations made in this study might find use in Japanese language teaching or future studies on hedging phenomena within the Japanese language

Bioactive substances of plant origin in food - impact on genomics

In the past decade, substantial progress has been made concerning our knowledge of bioactive components in plant foods and their links to health. Human diets of plant origin contain many hundreds of compounds which cannot be considered as nutrients, but appear to play a role in the maintenance of health. These substances are called nutraceuticals. In some cases where the disease process is at least partially understood, elements of protection can be related to a single compound or structurally related group of compounds in the diet. Bioactive components of food which are of special interest include the following groups: polyphenols, phytoestrogens, phytosterols, phytates and polyunsaturated fatty acids. Most of them are featured by antioxidant properties. In the first part of this review, we indicate the main groups of bioactive compounds giving a description of their localisation, chemical properties and biological actions. Recently, it was shown, however, that the bioavailability of potential antioxidants from plant foods is generally too low to have any substantial direct effect on reactive oxygen species. As a result of that it is postulated that dietary compounds, even in very low concentrations, may have a far greater impact than previously appreciated on the regulation of gene expression. The second part of this paper concerns the action of the literally most important bioactive substances on the molecular mechanisms of the control of genes which in turn affect cellular metabolism. A few current studies on the action of selected nutraceuticals on the activity of transcription factors such as AP-1, NF-$\kappa$B, SREBPs, PPARs as final targets in the signal transduction cascade and gene regulation are included. A detailed analysis of numerous factors of dietary origin with their targets is far beyond the scope of this paper. However, continuing research on the effects of nutraceuticals on gene expression should provide insight into the mechanisms of prevention of diseases such as obesity, diabetes, atherosclerosis, hypertension and cancer by dietary manipulations

Design and Evaluation of Low-Cost Vibration-Based Machine Monitoring System for Hay Rotary Tedder

Vibration monitoring provides a good-quality source of information about the health condition of machines, and it is often based on the use of accelerometers. This article focuses on the use of accelerometer sensors in fabricating a low-cost system for monitoring vibrations in agricultural machines, such as rotary tedders. The aim of the study is to provide useful data on equipment health for improving the durability of such machinery. The electronic prototype, based on the low-cost AVR microcontroller ATmega128 with 10-bit ADC performing a 12-bit measurement, is able to acquire data from an accelerometer weighing up to 10 g. Three sensors were exposed to low accelerations with the use of an exciter, and their static characteristics were presented. Standard experimental tests were used to evaluate the constructed machine monitoring system. The self-contained prototype system was calibrated in a laboratory test rig, and sinusoidal and multisinusoidal excitations were used. Measurements in time and frequency domains were carried out. The amplitude characteristic of the preformed system differed by no more than 15% within a frequency range of 10 Hz–10 kHz, compared to the AVM4000 commercial product. Finally, the system was experimentally tested to measure acceleration at three characteristic points in a rotational tedder, i.e., the solid grease gearbox, the drive shaft bearing and the main frame. The RMS amplitude values of the shaft vibrations on the bearing in relation to the change in the drive shaft speed of two tedders of the same type were evaluated and compared. Additionally, the parameters of kurtosis and crest factor were compared to ascertain the bearing condition