673 research outputs found
Dual-band slot microstrip patch antennas with dual-radiation modes for wireless communication
Inzulinrezisztencia betegség jelenségének felismerése és osztályozása orvosi dokumentumokban
A jelen cikkben egy kutatás-fejlesztĂ©s projekt elsĹ‘ fázisának rĂ©szleteit mutatjuk be, amelynek keretĂ©ben az inzulinrezisztencia betegsĂ©g kialakulásának veszĂ©lyĂ©t szeretnĂ©nk elĹ‘re jelezni a nyelvtechnolĂłgia eszközeivel. A kutatásunk kĂ©tmilliĂł magyar nyelvű kĂłrházi kĂłrlap feldolgozásával törtĂ©nt a modern neurális nyelvtechnolĂłgia segĂtsĂ©gĂ©vel. A feladatot osztályozási feladatkĂ©nt Ă©rtelmeztĂĽk, amelyben három kĂĽlönbözĹ‘ esetet kĂĽlönböztettĂĽnk meg: inzulinrezisztenciás betegek, nem inzulinrezisztenciás páciensek Ă©s gyanĂşs esetek. A gyanĂşs esetek közĂ© azokat a pácienseket soroltuk, akik a kĂłrlapjuk alapján nem inzulinrezisztenciások, de közben tudjuk, hogy azok. A feladat nehĂ©zsĂ©ge, hogy a programunknak fel kell ismernie a gyanĂşs eseteket Ăşgy, hogy a kĂłrlapon nem szerepel az inzulinrezisztencia betegsĂ©g. A problĂ©ma ily mĂłdon egy háromosztályos klasszifikáciĂł feladatkĂ©nt oldhatĂł meg. A kĂłrlapok zajossága Ă©s fĂ©lig strukturáltsága miatt, rendkĂvĂĽl nehĂ©z belĹ‘le egysĂ©ges releváns tulajdonság jegyeket kinyerni, ezĂ©rt a problĂ©ma megoldására egyedĂĽl a modern nyelvi modellek jöhettek csak számĂtásba, amelyek automatikusan nyerik ki a számukra relevánsnak számĂtĂł nyelvi jegyeket. A kutatásunkban felhasználtunk egy statikus Ă©s egy környezetfĂĽggĹ‘ neurális nyelvi modellt. Az eredmĂ©nyeink alapján, a modelljeink közel 80%-os pontossággal tudta megbecsĂĽlni, hogy az adott kĂłrlap a fent emlĂtett három kategĂłriábĂłl melyikbe tartozott. Az általunk lĂ©trehozott osztályozási modellekkel orvosi támogatást tudunk nyĂşjtani, amelynek során a gĂ©p jelezni tudja azon eseteket, ahol, bár a beteg másfĂ©le kivizsgáláson vesz rĂ©szt, a kĂłrlap alapján az adott páciensnĂ©l felmerĂĽlhet az inzulinrezisztencia betegsĂ©gĂ©nek veszĂ©lye
On the Relation between Internal Language Model and Sequence Discriminative Training for Neural Transducers
Internal language model (ILM) subtraction has been widely applied to improve
the performance of the RNN-Transducer with external language model (LM) fusion
for speech recognition. In this work, we show that sequence discriminative
training has a strong correlation with ILM subtraction from both theoretical
and empirical points of view. Theoretically, we derive that the global optimum
of maximum mutual information (MMI) training shares a similar formula as ILM
subtraction. Empirically, we show that ILM subtraction and sequence
discriminative training achieve similar performance across a wide range of
experiments on Librispeech, including both MMI and minimum Bayes risk (MBR)
criteria, as well as neural transducers and LMs of both full and limited
context. The benefit of ILM subtraction also becomes much smaller after
sequence discriminative training. We also provide an in-depth study to show
that sequence discriminative training has a minimal effect on the commonly used
zero-encoder ILM estimation, but a joint effect on both encoder and prediction
+ joint network for posterior probability reshaping including both ILM and
blank suppression.Comment: submitted to ICASSP 202
BARTerezzĂĽnk! : messze, messze, messze a világtĂłl, BART kĂsĂ©rleti modellek magyar nyelvre
A BART autoregresszĂv tĂpusĂş modell, amely elsĹ‘sorban szöveggenerálási feladatokra alkalmas. A kutatásomban kĂĽlönbözĹ‘ BART modelleket tanĂtottam magyar nyelvre Ă©s azokat finomhangoltam kĂĽlönbözĹ‘ szöveggenerálási feladatokra. A kĂsĂ©rleteimben BART base Ă©s large modelleket tanĂtottam magyar Ă©s angol-magyar nyelvekre. Az elĹ‘tanĂtott BART modelleket szövegosztályozás, absztraktĂv szövegösszefoglalĂł generálás, gĂ©pi fordĂtás Ă©s versgenerálás feladatokra finomhangoltam. Az eredmĂ©nyek alapján a BART kevĂ©sbĂ© teljesĂt jĂłl szövegosztályozás feladatára, de absztraktĂv szövegösszegzĂ©s feladatában „state of the art” eredmĂ©nyeket Ă©rtem el. ÉrdekessĂ©gkĂ©nt a kutatásom vĂ©gĂ©n egy PetĹ‘fi versgenerátort mutatok be
Automatikus Ărásjel-visszaállĂtás Ă©s NagybetűsĂtĂ©s statikus korpuszon transzformer modellen alapulĂł neurális gĂ©pi fordĂtással
Cikkemben egy ĂrásjelvisszaállĂtĂł Ă©s nagybetűsĂtĹ‘ programot mutatok be, amelyet a jelenkori „state-of-the-art” transzformer modellen alapulĂł neurális gĂ©pi fordĂtĂł rendszerrel tanĂtottam be. A mobil eszközökön törtĂ©nĹ‘ ĂĽzenetĂrás elterjedĂ©sĂ©vel Ă©s a minĂ©l gyorsabb szövegbevitelre valĂł törekvĂ©ssel tömeges jelensĂ©ggĂ© vált a hibás szövegek Ărása. Ennek egyik következmĂ©nye, hogy a interneten elĂ©rhetĹ‘ – fĹ‘leg a szociális mĂ©diábĂłl származĂł – korpuszok egy rĂ©sze hibás. Többek között Ărásjelek hiányoznak, vagy vĂ©gig kisbetűvel Ărnak. Az Ăgy lĂ©trejött korpuszok nem alkalmasak kĂĽlönbözĹ‘ kutatásokhoz, csak tisztĂtás után. A tisztĂtás folyamata idĹ‘igĂ©nyes, ezĂ©rt igĂ©ny van kĂĽlönbözĹ‘ korpusztisztĂtĂł mĂłdszerekre. Az általam lĂ©trehozott rendszer, annak ellenĂ©re, hogy semmilyen morfolĂłgiai Ă©s szintaktikai elemzĹ‘t nem használ, közel 81%-os f-mĂ©rtĂ©kkel tudja helyesen visszaállĂtani az alapĂrásjeleket Ă©s elvĂ©gezni a nagybetűsĂtĂ©st magyar nyelv esetĂ©ben
SimPLE: Similar Pseudo Label Exploitation for Semi-Supervised Classification
A common classification task situation is where one has a large amount of
data available for training, but only a small portion is annotated with class
labels. The goal of semi-supervised training, in this context, is to improve
classification accuracy by leverage information not only from labeled data but
also from a large amount of unlabeled data. Recent works have developed
significant improvements by exploring the consistency constrain between
differently augmented labeled and unlabeled data. Following this path, we
propose a novel unsupervised objective that focuses on the less studied
relationship between the high confidence unlabeled data that are similar to
each other. The new proposed Pair Loss minimizes the statistical distance
between high confidence pseudo labels with similarity above a certain
threshold. Combining the Pair Loss with the techniques developed by the
MixMatch family, our proposed SimPLE algorithm shows significant performance
gains over previous algorithms on CIFAR-100 and Mini-ImageNet, and is on par
with the state-of-the-art methods on CIFAR-10 and SVHN. Furthermore, SimPLE
also outperforms the state-of-the-art methods in the transfer learning setting,
where models are initialized by the weights pre-trained on ImageNet or
DomainNet-Real. The code is available at github.com/zijian-hu/SimPLE.Comment: Accepted to CVPR 2021. First two authors contributed equall
- …