Rethinking the Discount Factor in Reinforcement Learning: A Decision Theoretic Approach

Reinforcement learning (RL) agents have traditionally been tasked with maximizing the value function of a Markov decision process (MDP), either in continuous settings, with fixed discount factor $\gamma < 1$, or in episodic settings, with $\gamma = 1$. While this has proven effective for specific tasks with well-defined objectives (e.g., games), it has never been established that fixed discounting is suitable for general purpose use (e.g., as a model of human preferences). This paper characterizes rationality in sequential decision making using a set of seven axioms and arrives at a form of discounting that generalizes traditional fixed discounting. In particular, our framework admits a state-action dependent "discount" factor that is not constrained to be less than 1, so long as there is eventual long run discounting. Although this broadens the range of possible preference structures in continuous settings, we show that there exists a unique "optimizing MDP" with fixed $\gamma < 1$ whose optimal value function matches the true utility of the optimal policy, and we quantify the difference between value and utility for suboptimal policies. Our work can be seen as providing a normative justification for (a slight generalization of) Martha White's RL task formalism (2017) and other recent departures from the traditional RL, and is relevant to task specification in RL, inverse RL and preference-based RL.Comment: 8 pages + 1 page supplement. In proceedings of AAAI 2019. Slides, poster and bibtex available at https://silviupitis.com/#rethinking-the-discount-factor-in-reinforcement-learning-a-decision-theoretic-approac

Thermo-Mechanical Stresses of the Squirrel Cage Rotors in Adverse Load Conditions

All in-text references underlined in blue are linked to publications on ResearchGate, letting you access and read them immediately

Αποτελεσματικότητα παρεμβάσεων δυαδικής αντιμετώπισης σε ζευγάρια με ένα σύντροφο με καρκίνο

Εισαγωγή: Ο καρκίνος είναι μία νόσος που επηρεάζει πολλαπλές πτυχές της ζωής τόσο των ογκολογικών ασθενών αλλά και των συντρόφων τους. Η οικειότητα και η σεξουαλική σχέση του ζευγαριού πλήττονται σημαντικά και ο άρρωστος βιώνει σημαντικές ανεκπλήρωτες ψυχικές, συμπεριφορικές και σωματικές ανάγκες. Η εμπειρία του καρκίνου αν και σημαντικά προσωπική, δεν βιώνεται μόνο από τον ασθενή αλλά και από τον σύντροφο του, που παρέχει τη φροντίδα και συχνά βιώνει παρόμοια αισθήματα. Σκοπός: Σκοπός της παρούσας ανασκόπησης ήταν η διερεύνηση της αποτελεσματικότητας παρεμβάσεων δυαδικής αντιμετώπισης, σε ζευγάρια που τουλάχιστον ο ένας σύντροφος βιώνει καρκίνο. Υλικό και Μέθοδος: Πραγματοποιήθηκε ανασκόπηση της βιβλιογραφίας κατά τον Φεβρουάριο του 2021, στις βάσεις δεδομένων Pubmed και Scopus με βάση τα κριτήρια PRISMA, και συνδυασμό των λέξεων κλειδιών “dyadic intervention”, “cancer”, “couple”,“partner” και “intimate relationship(s)”. Τα κριτήρια επιλογής και αποκλεισμού περιλαμβάναν: μελέτες πρωτογενούς έρευνας, στην οποία πραγματοποιήθηκε η εφαρμογή δυαδικής παρέμβασης σε ζευγάρια με έναν ασθενή με καρκίνο. Μόνο ο ένας από τους δύο συντρόφους να πάσχει από καρκίνο, οι μελέτες να ήταν δημοσιευμένες στην αγγλική γλώσσα, να αφορούν ενήλικο πληθυσμό, να έχουν δημοσιευθεί τα τελευταία 20 χρόνια. Μελέτες οι οποίες αναφέρθηκαν σε φροντιστές μεταξύ των οποίων περιλαμβάνονταν σύντροφοι σε μεγάλο ποσοστό, επιλέχθηκαν. Απορριφθήκαν μελέτες που αναφέρθηκαν σε εφαρμογή δυαδικών παρεμβάσεων σε άλλα χρόνια νοσήματα, ή σε δυάδες γονέα - παιδί. Αποτελέσματα: Από την αρχική αναζήτησή προέκυψαν 575 καταγραφές. Στην ανασκόπηση χρησιμοποιήθηκαν 21 πρωτογενείς μελέτες, οι οποίες στην πλειοψηφία τους αποτελούσαν τυχαιοποιημένες δοκιμές. Δεκατρείς παρεμβάσεις χρησιμοποιήσαν αμιγή δείγματα συντρόφων και ασθενών όσον αφορά τη δυάδα και οχτώ παρεμβάσεις χρησιμοποίησαν μεικτά δείγματα ασθενών και φροντιστών στη δυάδα όμως σε όλες αυτές τις παρεμβάσεις, ο/η σύζυγός ή ο/η σύντροφος αποτελούσε το μεγαλύτερο ποσοστό του κύριου φροντιστή του αρρώστου. Από τις μελέτες που χρησιμοποίησαν αμιγή δείγματα τέσσερις αναφέρθηκαν σε ασθενείς με καρκίνο μαστού, πέντε σε ασθενείς με καρκίνο προστάτη και τέσσερις σε ασθενείς με καρκίνο εντέρου. Από τις μελέτες που χρησιμοποίησαν μεικτά δείγματα, τρεις αναφερθήκαν σε ασθενείς με καρκίνο πνεύμονα, δύο σε ασθενείς με καρκίνο μαστού, μία σε ασθενείς με καρκίνο εντέρου και δύο δεν ανέφεραν συγκεκριμένο τύπο καρκίνου. Συχνότερα οι ανασκοπηθείσες μελέτες είχαν περισσότερους από έναν κύριους ερευνητικούς σκοπούς: διερεύνηση της αποτελεσματικότητας, της εφαρμοσιμότητας και της αποδοχής της παρέμβασης από την δυάδα (4 μελέτες) καθώς και όλους τους συνδυασμούς τους ανά δυο ή μόνο τη διερεύνηση της αποτελεσματικότητας (4 μελέτες). Από τις 21 μελέτες, 11 ανέφεραν ότι η παρέμβαση ήταν αποτελεσματική,13 μελέτες ότι η παρέμβαση ήταν εφαρμόσιμη και 11 ότι ήταν αποδεκτή. Συνολικά σε 9 μελέτες βρέθηκε θετική επίδραση της δυαδικής παρέμβασης στην ψυχική ευεξία και υγεία του ζευγαριού, σε 5 θετική επίδραση στη σεξουαλικότητα του ζευγαριού, σε 6 θετική επίδραση στη δυαδική σχέση του ζευγαριού και της οικειότητας, σε 4 βελτιώθηκε η ποιότητα ζωής και η συντροφική σχέση, σε 4 η αυτοαποτελεσματικότητα, σε 3 η κοινωνική διάσταση της ζωής και η συναισθηματική ευεξία. Οι περισσότεροι ασθενείς στις δυάδες που μελετήθηκαν βρισκόταν σε προχωρημένα στάδια της νόσου, III ή IV και ελάμβαναν κάποια μορφή θεραπείας κατά τη διάρκεια της παρέμβασης. Συμπεράσματα: Εξαιτίας των αρκετών περιορισμών των μελετών δεν υπάρχουν ασφαλή συμπεράσματα τα οποία μπορούν να γενικευθούν στον πληθυσμό των ασθενών με καρκίνο και των συντρόφων τους. Παρόλα αυτά αξίζει να αναφερθεί ότι η εφαρμογή των δυαδικών παρεμβάσεων είχε θετική επίδραση σε αρκετές πτυχές της ζωής, ιδιαίτερα την ψυχική υγεία των ζευγαριών και τη βελτίωση της σχέσης τους. Μελλοντικά θα ήταν χρήσιμο να μελετηθούν παρεμβάσεις οι οποίες χρησιμοποιούν κοινό θεωρητικό πλαίσιο για την ανάπτυξη δυαδικών παρεμβάσεων, κοινά εργαλεία για την αξιολόγηση των παρεμβάσεων, και οι δυάδες στην ομάδα ελέγχου να λαμβάνουν την συνηθισμένη φροντίδα για την ασφαλέστερη αξιολόγηση της δυαδικής παρέμβασης.Introduction: Cancer is a disease that affects multiple aspects in the life of patients, such as quality of life and psychosocial well-being both of oncology patients and their partners. Intimacy and the sexual relationship of couples can be affected significantly, the patient has many unmet cognitive, psychosocial and physical needs. Cancer experience although it is remarkably personal, it can also be experienced by the partner that provides care and often experience similar emotions as the patient. For those reasons it is significant dyadic coping interventions, that treat the couple as a unit to be researched. Purpose: The aim of this review was the study of the existing literature about the efficacy of dyadic coping interventions in couples, that at least one partner is coping with cancer. Methodology: A systematic bibliographic search has been carried out, during February 2021, in PubMed and Scopus databases, according to PRISMA criteria, with the combination of the following key words: “dyadic intervention”, “cancer”, “couple”, “partner” και “intimate relationship(s)”. The inclusion and exclusion criteria were primary research studies, in which dyadic coping interventions were given to couples (heterosexual or homosexual) coping with cancer. Only one partner had been diagnosed with cancer, the studies should be written in English, published the last 20 years that dyadic coping interventions began to be researched. Studies in which dyadic coping interventions were researched on caregivers and it was clarified if they were partners of the cancer patient, were included. Studies about dyads that were consisted by parents and their children were not included. Results: Through the initial research 575 results came up. In the review were included 21 primary studies, most of which were randomised control trials. Thirteen interventions used pure study samples regarding the dyad while eight used mixed study samples consisted of patient and caregiver dyads, although in all of them the primary caregiver was mostly the wife/husband or the partner of the patient. Of the studies that used pure study samples four referred to patients with breast cancer, five to patients with prostate cancer and four to patients with colorectal cancer. Of the studies that used mixed samples three referred to patients with lung cancer, two to patients with breast cancer, one to patients with colorectal cancer and two did not mention the type of cancer. Most of the reviewed studies had more than one primary research objectives : examination of the efficacy, the feasibility and the acceptance of the intervention (4 studies) and combinations of the above in pairs or only the examination of the efficacy of the intervention (4 studies). Of the 21 studies in the review, 11 acknowledged that the intervention was effective, 13 that it was feasible and 11 studies acknowledged that the intervention was acceptable. In total 9 studies acknowledged that the dyadic coping intervention had a positive effect on psychosocial/mental wellbeing and health of the couple, 5 studies had positive effects on the couple’s sexual life, 6 had a positive effect on the dyadic relationship of the couple and intimacy, 4 studies improved the quality of life and the intimate relationship of the couple, 4 had a positive effect on self- efficacy and 3 on the social life and emotional well being. Most patients on the dyads that were reviewed were coping with advanced cancer, stage III or IV and were receiving treatment during the dyadic coping intervention. Discusion: Although most of the interventions that had been applied on couples had positive effects on many aspects of the life and relationship of the couple, there were some limitations and errors related to the design of the studies. Due to these limitations there are not safe conclusions that could be generalised on the population. Despite all that there were positive effects on many aspects in the relationship and life of the couples coping with cancer. In future research it would be useful if common research instruments, common theoretical framework and common controls groups were used, in order to test with safety the efficacy of the intervention

Spectral geometry of etaeta-Einstein Sasakian manifolds

We extend a result of Patodi for closed Riemannian manifolds to the context of closed contact manifolds by showing the condition that a manifold is an $\eta$-Einstein Sasakian manifold is spectrally determined. We also prove that the condition that a Sasakian space form has constant $\phi$-sectional curvature $c$ is spectrally determined.Comment: 8 page