Deep reinforcement learning : a study of the CartPole problem

One of the major challenges of artificial intelligence is to learn solving tasks which are considered to be challenging for even a human. Reinforcement learning is the most general learning framework among the three main type of learning methods: supervised, unsupervised and reinforcement learning. Most of the problems can easily fit into this framework. Experience shows that a lot of machine learning methods with non-linear function approximators suffers from instability regarding convergence. Reinforcement learning is more prone to diverge due to its ability to change the structure of its training data by modifying the way how it interacts with the environment. In this paper we investigate the divergence issue of DQN on the CartPole problem in terms of the algorithm’s parameters. Instead of the usual approach we do not focus on the successful trainings but instead we focus on the dark side where the algorithm fails on such an easy problem like CartPole. The motivation is to gain some further insight into the nature of the divergence issues on a specific problem

A javasolt, diagnosztikus szemléletű talajosztályozási rendszer szerves szénre vonatkozó osztályozási egységei és definíciói

Összefoglalás A szerves szén igen jelentős összetevője a talajoknak. Meghatározza a talajok számos fizikai, kémiai, biológiai és nedvesség gazdálkodási tulajdonságát és sokrétű környezeti funkcióit, többek között termékenységét, vízszűrő-, és szolgáltató képességét, pufferkapacitását, vagy a biológiai sokféleség megőrzésében játszott szerepét. A modern osztályozási rendszerekben a szerves szén mennyiségi és mélységi megjelenése diagnosztikus egységek és magasabb rendszertani egységeknek is gyakran alapja. Diagnosztikus szemléletű hazai talajosztályozási rendszerünk kidolgozásakor megvizsgáltuk a hazai genetikus osztályozás szervesanyagra vonatkozó kritériumait, részletesen elemeztük a TIM adatbázis adatait és figyelembe vettük a nemzetközi standardokat. Törekedtünk olyan diagnosztikai egységek, altípus és változati tulajdonságok meghatározására, melyek az osztályozás támogatásán túl, önmagukban is fontos információt szolgáltatnak a különböző alkalmazásoknak. Eredményeink szerint a TIM adatbázis tanulmányozása, a szerzők saját talajleíró tapasztalata, továbbá a szervesszén-tartalomra irányuló adatigény indokolja további mennyiségi intervallumok meghatározását az osztályozás alacsonyabb (altípus és változati tulajdonság) szintjén. Vizsgálatunk további fontos eredménye, hogy rámutat, a földes részre vonatkoztatott szervesszén-tartalom nem elég a feltalajok diagnosztizálására. A durva rész arány, a telítettségi viszonyok, a szín, a szerkezet további fontos kritériumok a feltalajok, illetve a felszíni diagnosztikai szintek definiálásában. Ugyanakkor a szerves szén mennyiségi-, és mélységi határértékeinek egységes, típustól független meghatározása fontos információt szolgáltat a talajok sok szempontú megítélésben. Javaslatunkban a szervesszén-tartalomra vonatkozóan nyolc felszíni diagnosztikus talajszint, egy felszín alatti diagnosztikus talajszint, és egy diagnosztikus talajanyag került meghatározásra. Az osztályozás alacsonyabb szintjein további 5 kategória bevezetését javasoltuk a talajokban megjelenő szervesszén-tartalom részletesebb jellemzésének biztosítása érdekében. A javasolt rendszerben összesen 20 altípus -, és 2 változati tulajdonságban jelenik meg szervesszén-tartalomra, vagy olyan diagnosztikus talajszintre vonatkozó követelmény, amely definíciójában a szervesszén-tartalom (is) szerepel. Az egyes elemek azonos értelmezése lehetővé teszi a típustól független térbeli kiterjedésének meghatározását

Application of remote sensing data to improve the water and soil resource management of Rwanda

The Rwandan agriculture strongly relies in the dry seasons on the water stored in artificial reservoirs of various sizes for irrigation purposes. Furthermore, the success of irrigation depends on a wide range of soil properties which directly affect the moisture regime of the growing medium. By integrating remote sensing and auxiliary data the objectives of our study are to monitor the water level fluctuation in the reservoirs, estimate the volume of water available for irrigation and to combine this information with soil property maps to support the decision making for sustainable irrigation water management in a study area in Southern Rwanda. For water level and volume estimation a series of Sentinel-1 (product type: GRD, acquisition mode: IW, polarizations HH and VH) data were obtained covering the study area and spanning over a period of two years. To map the extent of water bodies the Radar-Based Water Body Mapping module of the Water Observation and Information System (WOIS) was used. High-resolution optical data (Sentinel-2) were used for validation in cloud-free periods. To estimate the volume changes in the reservoirs, we combined the information derived from the water body mapping procedure and digital elevation models. For sustainable irrigation water management, digital soil property maps were developed by the application of wide range of environmental covariates related to soil forming factors. To develop covariates which represent the land use a time series analysis of the 2 years of Sentinel-1 data was performed. As auxiliary soil data, the ISRIC-WISE harmonized soil profile database was used. The developed digital soil mapping approach is integrated into a new WOIS workflow

The diagnostic continua of the soils of Europe

Diagnostic horizons, properties and materials are commonly applied building units of national and international soil classification systems. The presence, depth or absence of diagnostic information supports the process of objective soil classification, such as the World Reference Base (WRB). While the diagnostic units and associated descriptive qualifiers convey information that reflect pedogenesis, they also indicate important, and often complex properties that are related to soil fertility and other soil functions. The spatial extent or the continuum of diagnostic information is often different from the spatial extent of the mapping units in general soil maps (mostly reflecting soil types). This paper presents the spatial distribution of selected diagnostic units and qualifiers for the European Union and describes their significance for key soil functions. The derivation of selected diagnostics was performed based on the information provided in the European Soil Database and by taking into consideration the definitions, rules and allocation procedure of soils to the appropriate Reference Soil Group (RSG) defined by the WRB key. The definition of the presence/absence of the diagnostic units were performed by extracting information related to the first level of the WRB classification and to the qualifiers provided by the ESDB on the Soil Taxonomic Units (STU) level. The areal percentage of the STUs (thus, the derived diagnostics) within Soil Mapping Units (SMUs) was calculated and was visualized on separate maps. The study demonstrated the importance of the spatial information that the diagnostic elements convey, especially related to soil functions

Javaslat a hazai láptalajok osztályozásának megújítására

A szerves talajok összetétele, képződési körülményei, és földrajzi, ill. domborzati elterjedése jelentősen eltér az ásványi talajokétól. A tömegükben megőrzött hatalmas mennyiségű szerves szén és környezetük biológiai sokfélesége (biodiverzitása) kapcsán a klímaváltozás által leginkább érintett talajok, ezért megkülönböztetett figyelem irányul e talajokra. Kiterjedésükre, lebomlottsági fokukra, szerves szénkészletükre igen eltérő irodalmi és térképi adatok állnak rendelkezésre. Ugyanakkor éppen a klímaváltozás vonatkozásában óriási a globális és helyi megbízható adatigény az említett kérdésekben. Hazai láptalajaink osztályozási, felvételezési és mintavételi módszereinek megújítására teszünk javaslatot a nemzetközi standardok figyelembe vételével. A megújított Láptalaj meghatározásban a legfontosabb követelmények a 20% szerves széntartalomra, a 40 cm vastagságra és az alacsony térfogattömegre vonatkoznak. Az altípus és változati tulajdonságok a lebomlottság fokát, a mélységi, kémhatás viszonyokat, ill. sók jelenlétét adják meg. A szervesanyag meghatározásra az izzítási veszteség módszerét, a térfogattömeg meghatározás mintavételezésére a rostosság függvényében a lápfúró alkalmazását vagy feltárt szelvényből nagytérfogatú bolygatatlan mintákat javasolunk. | The composition, genesis and geographical distribution of organic soils are significantly different from mineral soils. Because of the huge amount of organic carbon preserved in the mass of these soils and biodiversity of their environment, they are the most vulnerable soils to climate change, calling special attention to them. There are wide range of values for their spatial extent and organic carbon stock in the literature, but at the same time there is a great need for reliable global and local data especially in regard of climate change. In this paper recommendation is made for updating the classification of organic soils in Hungary with consideration of international standards. In the modified definition of the “Peat soils” the major classification requirements are the minimum 20% organic carbon content, the 40 cm depth and the low bulk density. On the subtype and variety level the degree of decomposition, the depth, pH and saturation conditions and the presence of salts are defined. For the determination of organic carbon content, the loss on ignition method is recommended. The size, the amount, and the technique of sampling of the undisturbed samples for the bulk density measurements should be determined according to the fiber content, and the variability