In this paper extreme learning machine and support vector regression are used for biosensors response to mixtures of compounds classification. The results are compared with the results obtained using artificial neural networks and others.Darbe yra nagrinėjamas dviejų netiesinės regresijos modelių, ekstremalaus apmokymo regresija (ELM)&nbsp; (angl. k. Extreme Learning M chine) ir atraminių vektorių regresija (SVR)&nbsp; (angl. k. Support Vector Regression), tinkamumas biojutiklių atsakui į tirpalų mišinius analizuoti. Gauti rezultatai yra lyginamai tarpusavyje, bei su kitais rezultatais, kurie gauti kitais metodais

Ivanauskas, Feliksas

Paulauskas, Robertas

Vaitkus , Pranas

English

Lietuvos matematikos rinkinys

Liet. matem. rink,47, spec. nr., 2007, 448–452Tirpal ↪u mišini ↪u koncentracij↪u atpažinimo netiesiniaimodeliaiFeliksas IVANAUSKAS (VU, MII), Robertas PAULAUSKAS (VU),Pranas VAITKUS (VU)el. paštas: paulauskas.robertas@gmail.comReziumė.Darbe yra nagrin˙ejamas dviej↪u netiesinės regresijos modeli↪u, ekstremalaus apmokymo regresija(ELM) (angl. k.Extreme Learning Machine) ir atramini↪u vektori↪u regresija (SVR) (angl. k.Support VectorRegression), tinkamumas biojutikli↪u atsakui↪i tirpal ↪u mišinius analizuoti. Gauti rezultatai yra lyginamaitarpusavyje, bei su kitais rezultatais, kurie gauti kitais metodais.Raktiniai žodžiai:ekstremalaus apmokymo regresija, atramini↪u vektori↪u regresija.1.↪IvadasBiojutikliai – tai↪irenginiai, kuriuos pagrindinai sudaro biologiškai aktyvi medžiaga,dažniausiai fermentas, ir elektroninis signalo keitiklis [1]. Fermentui reaguojant suanalizuojamu tirpalu, fizikiniai-cheminiai pasikeitimai yra paverˇciami elektros sig-nalu, kurio stiprumas priklauso nuo tirpalo koncentracijos. Biojutikliai plaˇciai taikomi↪ivairiose analitinėse sistemose.Darbo tikslas – panaudoti ekstremalaus apmokymo (ELM) [6] ir atramini↪u vek-tori↪u (SVR) [8] regresijas biojutiklio signalui klasifikuoti, bei nustatyti kuris iš dviej↪umetod↪u tinkamesnis šiam konkreˇciam uždaviniui spr↪esti. Darbas yra darb↪u [3,4,5]t↪esinys, kuriuose biojutiklio atsakui klasifikuoti buvo taikomi kiti metodai.2. Matematinis modelisSumodeliuoti duomenysTegul c = (c1, . . . , cL) yra L tirpal ↪u koncentracij↪u vektorius,z= z(c)= (z1(c), . . . ,zP (c)) yra biojutiklio signalas momentaist1, . . . , tP . z yra biojutiklio atsakas↪i mišin↪ic = (c1, . . . , cL). Pažymėkime,C = {c} yra aibė vis ↪u tirpal ↪u galim ↪u koncentracij↪u vek-tori↪u ir Z = {z(c)} yra atitinkamai steb˙et↪u biojutiklio signal↪u aibė. AibėZ suskaidoma↪i dvi dalis: apmokymo ir testin↪e imtis. Duomenys sumodeliuoti naudojant model↪iaprašyt↪a [2].Ekstremalaus apmokymo regresijaEkstremalaus apmokymo regresija yra ne kas kita, kaip neuroninis tinklas su vienupaslėptu sluoksniu, su tam tikrais apmokymo algoritmo pakeitimais, kurie ženkliaiTirpal ↪u mišini ↪u koncentracij↪u atpažinimo netiesiniai modeliai 449pagreitina apmokymo proced¯ur↪a. Apmokymo metu↪iėjimo svoriai ir poslinkis yra at-sitiktinai sugeneruojami, o iš˙ejimo svoriai apskaiˇciuojami pasinaudojant apibendrintaMoore–Penrose atvirkštine matrica [6].Matematinis modelisStandartinis vieno pasl˙epto sluoksnio neuroninis tinklas modeliuojamas taip:L∑i=1βiG(ai , bi ,xj ) = yj , j = 1, . . . ,N, (2.1)kur ai yra ↪iėjimo svori↪u vektorius,bi yra poslinkis,βi yra išėjimo sluoksnio svori↪uvektorius,G yra aktyvacijos funkcija.(2.1) lygybė ekvivalentiHβ = Y, kurH(a1, . . . , aL,b1, . . . , bL,x1, . . . , xN) =G(a1, b1,x1) . . . G(aL,bL,x1)... · · · ...G(a1, b1,xN) . . . G(aL,bL,xN)N×L,β =βT1...βTLL×mir Y =yT1...yTNN×m. (2.2)H yra vadinama neuroninio tinklo pasl˙epto sluoksnio iš˙ejimo matrica.Ekstremalaus apmokymo algoritmas:1. Atsitiktinai sugeneruojami↪ėjimo svori↪u vektoriai ai ir poslinkiai bi , i =1, . . . ,L.2. Suskaiˇciuojama pasl˙epto sluoksnio iš˙ejimo matricaH.3. Apskaičiuojami išėjimo svoriaiβ: β = H∓Y, kur H∓ yra apibendrinta Moore–Penrose atvirkštin˙e matrica.Metod↪u tikslumui↪ivertinti taikomeQk = 1LL∑i=1Ind(Ĉi,k ∈ y) · Ind(Ci,k = y) · 100%, (2.3)kur indikatoriaus funkcijaInd(Ĉi,k ∈ y) yra lygi vienam, kaiyik priklauso koncen-tracij↪u intervalui(y − δ1,y, y + δ2,y), kitu atveju 0.L yra stebėjim ↪u skaičius testinėjearba apmokymo aib˙eje.1 lentelė. Tikslumo intervalai prognozuojamoms koncentracijomsy (nmol/cm3) 1 2 4 8 12 16 32 641y (nmol/cm3) <1.5 [1.5,3) [3,6) [6,10) [10,14) [14,24) [24,48)  482y (nmol/cm3) [0,1.5) [1.5,2.9) [3.1,5) [7,9) [11,13) [15,17) [31,33) [63,65)450 F. Ivanauskas, R. Paulauskas, P. Vaitkus3. Skaǐciavim↪u rezultataiSumodeliuot↪u duomen↪u analizėNaudojant model↪i pateikt↪a [2], buvo modeliuojamas biojutikli↪u atsakas↪i keturi↪u (L =4) tirpal ↪u mišin↪i, vonios (BA) ir apipurškimo (FIA) režimais. Vonios režimu bioju-tiklio veikimas modeliuotas dviems membranos storiams:d = 0,02 ir d = 0,05 cm.Apipurškimo režime storis buvod = 0,02 cm. Naudotos aštuonios kiekvieno tirpalokoncentracijos: 1, 2, 4, 8, 12, 16, 32, 64 nmol/cm3. Iš viso buvo gauta 4096 skirtin-g↪u tirpal↪u koncentracij↪u vektori↪u. Biojutikli↪u signalo modeliavimo laikas: BA atveju(d = 0,02)301 sekund˙e (N = 301), BA atveju (d = 0,05)501 sekund˙e (N = 501) irFIA atveju (d = 0,02)151 sekund˙e (N = 151), FIA atveju (d = 0,05)301 sekund˙e(N = 301). Šiame darbe lyginsime tik rezultatus gautus BA atveju kai membranosstoris: d=0,02, kadangi b¯utent šis atvejis ir yra pats sud˙etingiausias. Apipurškimorėžimo (FIA) rezultatai yra vienodai geri tiek naudojant SVM tiek ELM model↪i, abiematvejais pasiekiamas visiškas atpažinimas.Duomen↪u aib↪e suskaid˙eme↪i testin↪e ir apmokymo aibes, sudarant testin↪e aib↪e at-sitiktinai be gr↪ažinimo buvo išrinkta 2000 tirpal↪u koncentracij↪u vektori↪u, lik↪e 2096vektoriai sudar˙e apmokymo aib↪e. Ekstremalaus apmokymo regresija (ELM1) buvo2 lentelė. Klasifikavimo tikslumas vonios režime, naudojant intervalus1 ir 2 beiELM su 512 neuron↪u paslėptame sluoksnyjeM BA, 1, d = 0.02 BA,2, d = 0.02Apm. aibė Test. aib˙e Apm. Aibė Test. aib˙e1 100.00 100.00 100.00 100.002 99.97 100.00 99.97 100.003 88.93 89.14 63.93 61.134 51.30 48.08 13.67 12.50M yra tirpalo numeris3 lentelė. Klasifikavimo tikslumas vonios režime, naudojant intervalus1 ir 2 bei atramini↪uvektori ↪u regresij↪a SVRM BA, 1, d = 0.02 BA, 2, d = 0.02Apm. aibė Test. aib˙e Apm. Aibė Test. aib˙e C g s SV1 99.05 98.90 97.47 96.95 13296 0.3250 37.81 12352 99.71 99.50 99.38 98.65 31.20 0.4452 45.87 12083 73.57 68.35 48.47 37.0 21.70 0.1299 42.37 20034 73.62 58.40 53.15 29.80 7.80 0.0181 756.77 2012C ir g yra SVR parametrai,s yra vidutinis apmokymo laikas sekund˙emis,SV yra atramini↪u vektori↪uskaičius.1ELM kodas:http://www.ntu.edu.sg/home/egbhuang/.Tirpal ↪u mišini ↪u koncentracij↪u atpažinimo netiesiniai modeliai 4514 lentelė. Klasifikavimo tikslumas vonios režime testin˙eje aibėje, naudojant intervalus1 ir 2bei skirtingus klasifikavimo metodusM BA, 1, d = 0.02 BA,2, d = 0.02SVR ELM TPCR NN SVR ELM NN LWNN LWELM1 98.90 100.00 100.00 100.00 96.5 100.00 100.00 100.00 100.002 99.50 100.00 99.20 100.00 98.65 100.00 100.00 100.00 100.003 68.35 89.14 91.40 99.60 37.70 61.13 96.00 99.55 86.404 58.40 48.08 48.35 86.95 29.80 12.50 57.40 76.75 61.50TPCR – apibendrint↪u pagrindini↪u komponenˇci ↪u regresija, NN – neuroninis tinklas, LWNN – lokaliaipasvertas neuroninis tinklas, LWELM – lokaliai pasverta ekstramalaus apmokymo regresija.apmokoma naudojant skirting↪a paslėpt↪u neuron↪u skaiči↪u, su kiekvienu iš j↪u buvoatliekami 5 bandymai iš kuri↪u buvo išrenkamas geriausias rezultatas. Atramini↪uvektori↪u regresija (SVR) buvo naudojama su radialine bazine branduolio funkcija.Apmokymo etapas buvo suskaidytas↪i du poetapius: pirma buvo nustatin˙ejama sritis iškurios geriausia b¯ut ↪u rinktis parametrus (C,g), sritis buvo atrinkinėjama naudojantiskryžminiu patikros metodu (angl. k. Cross Validation). Antra, nustaˇcius tinkamiausiassritis, iš j↪u atsitiktinai buvo renkamos (C,g) poros, kurios buvo naudojamos atramini↪uvektori↪u regresijai apmokyti. Atramini↪u vektori↪u regresija buvo realizuota paketu LIB-SVM 2.842.Lokalaus pasverimo (angl. k. Locally weighted) metodik↪a pateikt↪a [4] pritaikėmeELM modeliui ir gavome ženkliai geresnius rezultatus. Vienas iš didžiausi↪u lokalauspasverim↪u trūkum↪u yra dideles laiko sanaudos.4. IšvadosIš pasiekt↪u rezultat↪u galima teigti, kad nei ELM nei SVR n˙era patys tinkamiausimetodai šiam uždaviniui spr↪esti. Tačiau lyginant juos tarpusavyje manytume, kad ek-stremalaus apmokymo regresija, šiam uždaviniui yra tinkamesn˙e, jos tikslumas žen-kliai atsilieka nuo SVR tik klasifikuojant ketvirt↪a tirpal ↪a, klasifikuojant kitus tirpalusji lenkia SVR, žymus yra ir apmokymo laiko skirtumas, jei SVR užtrunka apie 800sekundži↪u, tai ELM užtenka tik 13 sekundži↪u, be to ELM reikia mažiau neuron↪upaslėptame sluoksnyje, nei SVR atramini↪u vektori↪u. Pritaikius lokal↪u pasverim↪a ga-lima ženkliai pagerinti ELM tikslum↪a, tačiau laiko prasme viskas užtrunka gerokaiilgiau.Literat ūra1. U. Wollenberger, F. Lisdat, F.W. Scheller,Frontiers in Biosensorics 2, Practical Applications,Birkhauser Verlag, Basel (1997).2. R. Baronas, J. Christensen, F. Ivanauskas, J. Kulys, Computer simulation of amperometric biosensorresponse to mixtures of compounds,Nonlinear Analysis: Modelling and Control, 7(2), 3–14 (2002).2LIBSVM 2.84 rasite:http://www.csie.ntu.edu.tw/˜cjlin/libsvm/.452 F. Ivanauskas, R. Paulauskas, P. Vaitkus3. R. Baronas, F. Ivanauskas, R. Maslovskis, P. Vaitkus, An analysis of mixtures using amperometricbiosensors and artificial neural networks,Journal of Mathematical Chemistry, 36(3), 281–297 (2004).4. R. Baronas, F. Ivanauskas, R. Maslovskis, P. Vaitkus, M. Radaviˇcius, Locally weighted neural net-works for an analysis of the biosensor response,Kybernetika,43(1), 21–30 (2007).5. R. Baronas, F. Ivanauskas, R. Paulauskas, P. Vaitkus, Tirpal↪u mišini ↪u koncentracij↪u klasifikavimas,naudojant apibendrint↪a pagrindini↪u komponenˇci ↪u regresij↪a,Liet. matem. rink., 45(spec. nr.), 454–458(2005).6. G.-B. Huang, Q.-Y. Zhu, C.-K. Siew, Extreme learning machine: Theory and application,Neurocom-puting, 70, 489–501 (2006).7. C.-C. Chang, C.-J. Lin,LIBSVM: A Library for Support Vector Machines(2001).8. B. Scholkopf, A.J. Smola,Learning with Kernels, Massachusetts Institute of technology (2002).SUMMARYF. Ivanauskas, R. Paulauskas, P. Vaitkus. Nonlinear models for recognition of concentrationof mixtureIn this paper extreme learning machine and support vector regression are used for biosensors response tomixtures of compounds classification. The results are compared with the results obtained using artificialneural networks and others.Keywords:extreme learning machine, support vector regression.

Tirpalų mišinių koncentracijų atpažinimo netiesiniai modeliai

https://www.journals.vu.lt/LMR/article/download/24241/23525

Tirpalų mišinių koncentracijų atpažinimo netiesiniai modeliai

Abstract

Similar works

Full text

Available Versions

Lietuvos matematikos rinkinys