Modular reinforcement learning : a case study in a robot domain

The behaviour of reinforcement learning (RL) algorithms is best understood in completely observable, finite state- and action-space, discrete-time controlled Markov-chains. Robot-learning domains, on the other hand, are inherently infinite both in time and space, and moreover they are only partially observable. In this article we suggest a systematic design method whose motivation comes from the desire to transform the task-to-be-solved into a finite-state, discrete-time, "approximately" Markovian task, which is completely observable, too. The key idea is to break up the problem into subtasks and design controllers for each of the subtasks. Then operating conditions are attached to the controllers (together the controllers and their operating conditions which are called modules) and possible additional features are designed to facilitate observability. A new discrete time-counter is introduced at the "module-level" that clicks only when a change in the value of one of the features is observed. The approach was tried out on a real-life robot. Several RL algorithms were compared and it was found that a model-based approach worked best. The learnt switching strategy performed equally well as a handcrafted version. Moreover, the learnt strategy seemed to exploit certain properties of the environment which could not have been seen in advance, which predicted the promising possibility that a learnt controller might overperform a handcrafted switching strategy in the future

Resolution of ibuprofen with primary amine carbamates in supercritical carbon dioxide

Three new, successful resolving agents, namely (S)-2-phenylglycinol, (R)-1-phenylethanaminium (R)-(1-phenylethyl) carbamate and (S)-2-hydroxy-1-phenylethanaminium (S)-(2-hydroxy-1-phenylethyl) carbamate of ibuprofen are presented. The carbamate salts are stable white crystals, they can be easily stored and handled. All salt forming resolution were performed in supercritical carbon dioxide as the only solvent. The enantioseparations were efficient (approx. 50 % enantiomeric purities, > 90 % yields in the crystalline phase) and robust. Unlike previous experiences with primary amine resolving agents, the diastereomeric salt formations and resolutions were competed in short times, even within one hour suggesting that the carbamates are intermediates of the salt formation reaction

Az MBL-hez kapcsolódó szerin proteázok szubsztrát specificitása és fiziológiai jelentősége = Substrate specificity and physiological relevance of MBL-associated serine proteases

A komplement rendszer aktiválódásának lektin útja az egyik első védelmi vonalnak tekinthető a szervezet fertőzések elleni védekezésében. A mannóz kötő lektin (MBL) baktérium felszínhez való kötődése után szerin proteáz zimogének (MASP= MBL-kötött szerin proteáz) aktiválódnak, melyek többféle mechanizmus révén járulnak hozzá az idegen mikroorganizmus megsemmisítéséhez ill. eltávolításához. Munkánk során felderítettük, a proteolitikus kaszkádrendszer beindításáért felelős MASP-2 enzim autoaktiválódásásnak mechanizmusát atomi szinten. Felfedeztük a MASP-2 egy eddig ismeretlen biológiai funkcióját, amely kapcsolatot teremt a véralvadási és a komplement kaszkád között. A MASP-2 hasítja és aktiválja a protrombint. Ugyancsak részletesen tanulmányoztuk a MASP-1 trombin-szerű aktivitását is. Ezek az eredmények arra utalnak, hogy a vérben lévő két proteolitikus kaszkádrendszer szoros evolúciós és funkcionális kapcsolatban van egymással, a komplement lektin útja által indukált limitált koaguláció az immunvédekezés egy ősi formájának tekinthető. | The lectin pathway of the complement system forms one of the first defence lines against the infections in our body. Upon MBL (mannose-binding lectin) binds to the bacterial surface serine protease zymogens (MASP=MBL-associated serine protease) become activated, and the active MASPs contribute to the inactivation and elimination of the foreign microorganism in several ways. In the course of our work we revealed the detailed atomic mechanism of the autoactivation of MASP-2 that is responsible for the initiation of the complement cascade. We discovered a new biological function of MASP-2 which makes contact between the complement and the coagulation cascades. MASP-2 cleaves and activates prothrombin. We also studied the thrombin-like activity of MASP-1 in detail. These results suggest that the two proteolytic cascade systems are in close evolutionary and functional relationship. The limited coagulation induced by the lectin pathway of the complement system can be regarded as an ancient form of immunity

Könyvszemle

Buda Béla: A lélek egészsége. A mentálhigiéné alapkérdései; Pikó Bettina: Kultúra, társadalom és lélektan; Gyöngyösi Zoltán: Az élet és test feletti rendelkezések joga; Desmond Morris: Bensőséges kötelékek; Em Griffin: Együtt-lét. Mitől jó egy csoport?; David Lewis: Hogyan értessük meg magunkat? A hatékony kommunikáció gyakorlati útmutatója; Horányi Özséb (szerk.): A sokarcú kép. Válogatott tanulmányok a képek logikájáról; Nyíri Kristóf - Kovács Gábor (szerk.): Virtuális egyetem Magyarországon