NLP Tasks with GreekLegalBERT v2

Τα τελευταία χρόνια, η Τεχνητή Νοημοσύνη με Νομικά Δεδομένα προσελκύει ολοένα και μεγαλύτερη προσοχή τόσο από τους ερευνητές της Τεχνητής Νοημοσύνης όσο και από τους επαγγελματίες νομικούς. Αυτό οφείλεται στο γεγονός ότι η Τεχνητή Νοημοσύνη με Νομικά Δεδομένα ωφελεί το νομικό σύστημα μέσω της απελευθέρωσης των επαγγελματιών νομικών από έναν επίπονο λαβύρινθο γραφειοκρατίας. Η Τεχνητή Νοημοσύνη με Νομικά Δεδομένα επικεντρώνεται στην εφαρμογή τεχνολογιών τεχνητής νοημοσύνης, ιδιαίτερα στην Επεξεργασία Φυσικής Γλώσσας, προς όφελος εργασιών σε νομικό τομέα. Ως μέρος αυτής της προσπάθειας, το μοντέλο BERT έχει αρχίσει να χρησιμοποιείται στο νομικό τομέα, κυρίως στην Αγγλική γλώσσα, για εργασίες όπως η πρόβλεψη νομικής κρίσης και η πρόβλεψη παραβίασης, καθώς είναι ευρεώς αναγνωρισμένο για την αξιοσημείωτη απόδοση του σε μια πληθώρα διεργασιών Επεξεργασίας Φυσικής Γλώσσας. Από όσα μπορούμε να γνωρίζουμε, υπάρχουν δύο μοναδικά μοντέλα που αφορούν την Ελληνική γλώσσα: το μοντέλο Greek-BERT και το μοντέλο Greek-Legal-BERT-v1. Σε αυτήν τη διατριβή, εστιάζουμε στη δημιουργία και την παρουσίαση της δεύτερης έκδοσης του Greek-Legal-BERT, δηλαδή του GreekLegalBERT v2, το οποίο δημιουργείται με περισσότερα Νομικά Δεδομένα από την πρώτη έκδοση. Έτσι, πρωταρχικός μας στόχος είναι η αύξηση του μεγέθους των Ελληνικών μοντέλων Επεξεργασίας Φυσικής Γλώσσας. Ο επόμενος στόχος της τρέχουσας διατριβής είναι η σύγκριση των τριών Ελληνικών μοντέλων, που βασίζονται στο μοντέλο BERT, μεταξύ διαφόρων διεργασιών Επεξεργασίας Φυσικής Γλώσσας, δηλαδή στην Αναγνώριση Ονοματισμένης Οντότητας, την Εξαγωγή Φυσικής Γλώσσας και την Πολυεπίπεδη Ταξινόμηση στο σύνολο δεδομένων Raptarchis. Έπειτα, αποφασίσαμε συνειδητά να ξεκινήσουμε τη μελέτη μας για την αρχιτεκτονική του BERT και τις θεμελιώδεις διεργασίες στις οποίες έχει προεκπαιδευτεί. Έχοντας μια πλήρη γνώση του μοντέλου BERT, συνεχίζουμε με τη περεταίρω ανάλυση των Greek-BERT και Greek-Legal-BERT-v1 για να επισημάνουμε τις διαφορές μεταξύ των μοντέλων. Εν συνέχεια, χρησιμοποιώντας περισσότερα Νομικά Δεδομένα από το Greek-Legal-BERT-v1, προχωρούμε στην εκπαίδευση του δικού μας μοντέλου GreekLegalBERT v2, με απώτερο στόχο τη μεγιστοποίηση της απόδοσής του. Τέλος, αξιολογούμε τα τρία προαναφερθέντα μοντέλα για τις τρεις προαναφερθείσες διεργασίες Επεξεργασίας Φυσικής Γλώσσας και παρουσιάζουμε τα αποτελέσματα. Η ακρίβεια, η ανάκληση και η βαθμολογία F1 ήταν οι μετρικές που χρησιμοποιήσαμε στην αξιολόγησή μας. Επιλέξαμε αυτές τις μετρικές, ούτως ώστε να μπορούμε να τα συγκρίνουμε άμεσα με προηγούμενα μοντέλα που αξιολογήθηκαν στο ίδιο σύνολο δεδομένων. Όσον αφορά το NER, το μοντέλο μας πέτυχε τη μεγαλύτερη απόδοση με μια μικρή διαφορά μεταξύ των δύο υπολοίπων μοντέλων. Όσον αφορά το NLI, το μοντέλο μας ξεπερνά το Greek-Legal-BERT-v1 και στις τρεις κατηγορίες, αλλά δεν κατάφερε να ξεπεράσει τις βαθμολογίες του Greek-BERT. Τέλος, στην περίπτωση της Πολυεπίπεδης Ταξινόμησης στο σύνολο δεδομένων Raptarchis, το μοντέλο μας ξεπέρασε στις δύο πρώτες κατηγορίες, ωστόσο στην τελευταία κατηγορία, το Greek-Legal-BERT-v1 ήταν ο μοναδικός νικητής μεταξύ όλων των μοντέλων.In recent years, Legal Artificial Intelligence (LegalAI) has drawn increasing attention rapidly from both AI researchers and legal professionals. This is due to the fact that LegalAI benefits the legal system for liberating legal professionals from a maze of paperwork. LegalAI focuses on applying artificial intelligence technologies, particularly Natural Language Processing, to benefit tasks in legal domain. As part of this endeavor, BERT has started to be employed in legal domain, mostly in English language, for tasks such as legal judgement prediction and violation prediction, as it is well recognized for its remarkable performance in a variety of NLP tasks. As far as we can discern, there are two unique models in the Greek NLP era: the general-purpose Greek-BERT model and the specific-domain Greek-Legal-BERT-v1 model. In this thesis, we focus on the generation and representation of the second version of Greek-Legal-BERT, namely GreekLegalBERT v2, which was provided with more Legal Data than the first version. So, our primary goal is to increase the size of Greek NLP models. The current thesis' next goal is to compare the three dinstict Greek NLP models, based on BERT model, between different downstream NLP tasks, notably in Named Entity Recognition, Natural Language Inference and Multiclass Classification on Raptarchis dataset. Therefore, we consciously choose to begin our study with BERT’s Architecture and the tasks it has been pretrained on. Having a thorough knowledge of the BERT model, we continue with break down Greek-BERT and Greek-Legal-BERT-v1 to highlight the distinctions between models. Then, using more Legal Data than Greek-Legal-BERT-v1, we proceed to train our own comparable GreekLegalBERT v2 model, with aim of maximizing its performance. Finally, we assessed the three previously mentioned NLP models on the three previously mentioned NLP tasks and presented the results. Precision, Recall and F1 score were the metrics we used in our evaluation. We selected these metrics so that we could compare them directly to previous models evaluated on the same dataset. In terms of NER, our model achieved the greatest performance with a slight difference among the two remaining models. As far as NLI is concerned, our model outperforms Greek-Legal-BERT-v1 in all three categories, but it didn't manage to surpass the scores of Greek-BERT. Eventually, in case of Multiclass Classification on Raptarchis dataset, our model surpassed in the first two categories, namely Volume and Chapter, however in the last category, Subject, Greek-Legal-BERT-v1 was the unique winner among all models

Study of hepatitis B virus infection in patients with rheumatic diseases undergoing immunosuppressive therapy

Objectives The aim of this prospective study was to examine the safety of anti-tumour necrosis factor (TNF) therapy in patients with rheumatic disease and hepatitis B virus (HBV) infection. Methods 14 patients with chronic HBV infection, 19 HBV-vaccinated patients and 19 patients with resolved HBV infection were included in the study. All HBV infected patients received combination therapy with oral antivirals and anti-TNF agents. During treatment the levels of hepatitis B surface antibodies (anti-HBs) in HBV vaccinated patients and of serum HBV DNA in patients with chronic or resolved HBV infection were monitored. Results No viral reactivation was observed in patients with resolved HBV infection while anti-HBs titres decreased during anti-TNF treatment in vaccinated patients, similarly to patients treated with methotrexate alone. None of the HBV-infected patients developed liver decompensation or a signIf ican’t increase in alanine aminotransferase levels. One patient (7%) treated with lamivudine and etanercept showed viral reactivation due to the emergence of a lamivudine-resistant mutant strain. Conclusions Anti-TNF agents represent a safe option for patients with chronic HBV infection when combined with antiviral therapy, as well as in patients previously exposed to HBV receiving no HBV prophylaxis. Resistant HBV strains may arise in patients with chronic hepatitis B, necessitating the initial use of anti-HBV agents with a low risk of resistance.Σκοπός: Ο σκοπός αυτής της προοπτικής μελέτης ήταν να εξεταστεί η ασφάλεια της θεραπείας με anti-TNF παράγοντες σε ασθενείς με ρευματολογικές παθήσεις και λοίμωξη από τον ιό της ηπατίτιδας Β. Μέθοδοι: 14 ασθενείς με χρόνια ηπατίτιδα Β, 19 ασθενείς εμβολιασμένοι για τον ιό της ηπατίτιδας Β και 19 ασθενείς με λανθάνουσα ηπατίτιδα Β περιελήφθησαν στη μελέτη. Όλοι οι ασθενείς που είχαν μολυνθεί από τον ιό της ηπατίτιδας Β έλαβαν θεραπεία με αντιική από του στόματος αγωγή και anti-TNF παράγοντα. Κατά τη διάρκεια της θεραπείας, τα επίπεδα των αντισωμάτων έναντι του αντιγόνου της επιφάνειας της ηπατίτιδας Β (anti-HBS) στους εμβολιασμένους για ηπατίτιδα Β ασθενείς και τα επίπεδα του HBV DNA στον ορό των ασθενών με χρόνια ή λανθάνουσα HBV λοίμωξη παρακολουθήθηκαν. Αποτελέσματα: Κανένα περιστατικό ιικής επανεργοποίησης δεν παρατηρήθηκε σε ασθενείς με λανθάνουσα HBV λοίμωξη, ενώ ο τίτλος των anti-HBs αντισωμάτων σε εμβολιασμένους ασθενείς μειώθηκε. Το ίδιο συνέβει και σε ασθενείς που λάμβαναν μόνο μεθοτρεξάτη. Κανείς από τους ασθενείς με χρόνια HBV λοίμωξη δεν παρουσίαση ρήξη της αντιρρόπησης ή σημαντική αύξηση των επιπέδων της αλανικής αμινοτρασφεράσης. Ένας ασθενής (7%) που λάμβανε λαμιβουδίνη και etanercept παρουσίασε ιική επανεργοποίηση οφειλόμενης στην ανάδειξη μεταλλαγμένου στελέχους ανθεκτικού στη λαμιδουβίνη. Συμπεράσματα:Οι anti-TNF παράγοντες αποτελούν ασφαλή επιλογή για ασθενείς με χρόνια HBV λοίμωξη όταν συνδυάζονται με χορήγηση αντιικής θεραπείας σε σχέση με ασθενείς με HBV λοίμωξη που δεν λαμβάνουν προφύλαξη για την ηπατίτιδα Β. Ανθεκτικά στελέχη του ιού μπορεί να αναδειχτούν σε ασθενείς με χρόνια ηπατίτιδα Β καθιστώντας αναγκαία την αρχική χρήση αγωγής έναντι του ιού της ηπατίτιδας Β με μικρό κίνδυνο αντίστασης και ανάδειξης μεταλλάξεων

Rationale and design of a prospective, observational, multicentre study on the safety and efficacy of apixaban for the prevention of thromboembolism in adults with congenital heart disease and atrial arrhythmias: the PROTECT-AR study

Introduction The risk for stroke in adults with congenital heart disease (ACHD) is increased, especially in the setting of commonly ensuing atrial arrhythmias (AA), namely atrial fibrillation, atrial flutter or intra-atrial re-entrant tachycardia. Data are limited regarding treatment with non-vitamin K oral anticoagulants in long-term studies involving patients with ACHD and AA.Methods and analysis PReventiOn of ThromboEmbolism in Adults with Congenital HearΤ disease and Atrial aRrhythmias is a prospective, multicenter, single-arm, non-interventional cohort study designed to investigate the safety and efficacy of apixaban for the prevention of thromboembolism in ACHD with AA in a ‘real-world’ setting. Eligible patients will be evaluated by the means of available registries and clinical counter. The study aims to accumulate approximately 500 patient-years of exposure to apixaban as part of routine care. Enrolment will take place at four ACHD centres in Greece. The first patient was enrolled in July 2019. The primary efficacy endpoint is a composite of stroke, systemic or pulmonary embolism and intracardiac thrombosis. The primary safety endpoint is major bleeding, according to the International Society on Thrombosis and Haemostasis bleeding criteria.Ethics and dissemination The study protocol has been approved by the institutional review board/independent ethics committee at each site prior to study commencement. All patients will provide written informed consent. Results will be disseminated at scientific meetings and published in peer-reviewed journals.Trial registration number NCT03854149; Pre-results

The Adult Congenital Heart Disease Anatomic and Physiological Classification: Associations with Clinical Outcomes in Patients with Atrial Arrhythmias

The implications of the adult congenital heart disease anatomic and physiological classification (AP-ACHD) for risk assessment have not been adequately studied. A retrospective cohort study was conducted using data from an ongoing national, multicentre registry of patients with ACHD and atrial arrhythmias (AA) receiving apixaban (PROTECT-AR study, NCT03854149). At enrollment, patients were stratified according to Anatomic class (AnatC, range I to III) and physiological stage (PhyS, range B to D). A follow-up was conducted between May 2019 and September 2021. The primary outcome was a composite of death from any cause, any major thromboembolic event, major or clinically relevant non-major bleeding, or hospitalization. Cox proportional-hazards regression modeling was used to evaluate the risks for the outcome among AP-ACHD classes. Over a median 20-month follow-up period, 47 of 157 (29.9%) ACHD patients with AA experienced the composite outcome. Adjusted hazard ratios (aHR) with 95% confidence intervals (CI) for the outcome in PhyS C and PhyS D were 1.79 (95% CI 0.69 to 4.67) and 8.15 (95% CI 1.52 to 43.59), respectively, as compared with PhyS B. The corresponding aHRs in AnatC II and AnatC III were 1.12 (95% CI 0.37 to 3.41) and 1.06 (95% CI 0.24 to 4.63), respectively, as compared with AnatC I. In conclusion, the PhyS component of the AP-ACHD classification was an independent predictor of net adverse clinical events among ACHD patients with AA

Association of Health Status Metrics with Clinical Outcomes in Patients with Adult Congenital Heart Disease and Atrial Arrhythmias

The prognostic value of health status metrics in patients with adult congenital heart disease (ACHD) and atrial arrhythmias is unclear. In this retrospective cohort study of an ongoing national, multicenter registry (PROTECT-AR, NCT03854149), ACHD patients with atrial arrhythmias on apixaban are included. At baseline, health metrics were assessed using the physical component summary (PCS), the mental component summary (MCS) of the Short-Form-36 (SF-36) Health Survey, and the modified European Heart Rhythm Association (mEHRA) score. Patients were divided into groups according to their SF-36 PCS and MCS scores, using the normalized population mean of 50 on the PCS and MCS as a threshold. The primary outcome was the composite of mortality from any cause, major thromboembolic events, major/clinically relevant non-major bleedings, or hospitalizations. Multivariable Cox-regression analyses using clinically relevant parameters (age greater than 60 years, anatomic complexity, ejection fraction of the systemic ventricle, and CHA₂DS₂-VASc and HAS-BLED scores) were performed to examine the association of health metrics with the composite outcome. Over a median follow-up period of 20 months, the composite outcome occurred in 50 of 158 (32%) patients. The risk of the outcome was significantly higher in patients with SF-36 PCS ≤ 50 compared with those with PCS > 50 (adjusted hazard ratio (aHR), 1.98; 95% confidence interval [CI], 1.02–3.84; p = 0.04) after adjusting for possible confounders. The SF-36 MCS ≤ 50 was not associated with the outcome. The mEHRA score was incrementally associated with a higher risk of the composite outcome (aHR = 1.44 per 1 unit increase in score; 95% CI, 1.03–2.00; p = 0.03) in multivariable analysis. In ACHD patients with atrial arrhythmias, the SF-36 PCS ≤ 50 and mEHRA scores predicted an increased risk of adverse events

Mast cells mediate malignant pleural effusion formation

Mast cells (MCs) have been identified in various tumors; however, the role of these cells in tumorigenesis remains controversial. Here, we quantified MCs in human and murine malignant pleural effusions (MPEs) and evaluated the fate and function of these cells in MPE development. Evaluation of murine MPE-competent lung and colon adenocarcinomas revealed that these tumors actively attract and subsequently degranulate MCs in the pleural space by elaborating CCL2 and osteopontin. MCs were required for effusion development, as MPEs did not form in mice lacking MCs, and pleural infusion of MCs with MPE-incompetent cells promoted MPE formation. Once homed to the pleural space, MCs released tryptase AB1 and IL-1 beta, which in turn induced pleural vasculature leakiness and triggered NF-kappa B activation in pleural tumor cells, thereby fostering pleural fluid accumulation and tumor growth. Evaluation of human effusions revealed that MCs are elevated in MPEs compared with benign effusions. Moreover, MC abundance correlated with MPE formation in a human cancer cell-induced effusion model. Treatment of mice with the c-KIT inhibitor imatinib mesylate limited effusion precipitation by mouse and human adenbcarcinoma cells. Together, the results of this study indicate that MCs are required for MPE formation and suggest that MC-dependent effusion formation is therapeutically addressable