Hahmontunnistus terästeollisuudessa

Terästeollisuudessa teräsnauhojen valmistuksessa esiintyvät ongelmat tuotannossa aiheuttavat suuria taloudellisia tappioita, joten näiden ongelmien ennustaminen ennen niiden esiintymistä olisi taloudellisesti hyvin merkittävää. Olemassa olevien fysikaalisten mallien avulla ennustaminen ei ole ollut mahdollista, joten tutkimuksessa on hyödynnetty ennustavia matemaattisia luokittimia, joiden avulla näitä ongelmallisia tilanteita ollaan pyritty ennustamaan. Tutkielma käsittelee matemaattista teoriaa ja menetelmiä, joita on hyödynnetty aiemmin julkaistussa tutkimuksessa 'Defect prediction in hot strip rolling using ANN and SVM'. Keskeisinä menetelminä tutkimuksessa on käytetty erilaisia datan esikäsittelymenetelmiä, kuten klassisia tilastollista analyysiä, piirteiden valintamenetelmiä, esimerkikisi itsestäänjärjestäytyviä karttoja, sekä ennustukseen neuroverkkoa ja tukivektorikonetta. Tutkimuksen aineisto on peräisin teräsnauhojen lämpövalssausprosessista Ruukin terästehtaalta Raahesta. Alkuperäinen tutkimus toteutettiin Oulun Yliopiston tietokonetekniikan laboratoriossa yhteistyössä tutkimusryhmän ja Ruukin asiantuntijoiden kanssa. Tutkimuksen pohjalta ollaan pystytty osoittamaan, että tukivektorikoneen ja neuroverkon ennustetarkkuus on hyvin lähellä toisiaan kyseiselle aineistolle

Optimizing convolutional neural nets

Tämä kandidaatintyö käsittelee konvoluutioneuroverkkojen optimointia. Työssä esitellään joitakin neuroverkkojen perusperiaatteista, ongelmatapauksia ja menetelmiä ongelmien ratkaisemiseksi

Automaattiset liikenteen ohjaus- ja tiedotusjärjestelmät : järjestelmien rakenne ja toiminta

320075

Neuroverkoilla luokittelu ja tapausten keinotekoinen lisääminen aineistoon.

Tutkielmassa tarkastellaan neuroverkkojen kykyä luokitella erilaisia lääketieteellisiä aineistoja ja sitä miten tapausten keinotekoinen lisääminen aineistoon vaikuttaa neuroverkkojen kykyyn luokitella. Neuroverkoille opetettiin kahdeksan eri aineistoa käyttäen kymmenkertaista ristiinvalidointia. Jokaiselle aineistolle etsittiin sopiva neuroverkon arkkitehtuuri ja opetusparametrit. Jokaisen aineiston kohdalla neuroverkot oppivat parhaiten suurimman luokan. Opetusten tulokset havainnollistivat myös sitä miten monta piiloneuronia neuroverkossa tulee olla luokkien lukumäärän suhteen. Kolmeen kahdeksasta aineistosta lisättiin keinotekoisesti tapauksia pienimpiin luokkiin. Tällä tavalla saatiin suurennettua aineistoa ja vähennettyä luokkajakauman vinoutta. Tapausten keinotekoinen lisääminen ei vaikuttanut paljoa neuroverkojen luokittelutarkkuuteen, mutta paransi usein pienempien luokkien luokittelua ja huononsi suurimman luokan luokittelua. Avainsanat ja -sanonnat: neuroverkot, luokitteleminen, koneoppiminen

Neuroverkon kuvaaminen vierekkyysrelaatiojärjestelmällä

Tutkimusongelmana oli selvittää onko vierekkyysrelaatiojärjestelmällä mahdollista kuvata neuroverkko. Hypoteesina on, että vierekkyysrelaatiojärjestelmällä pystytään kuvaamaan tarkastikin erilaisia rakenteita sekä myös rakenteiden ominaisuuksia – myös neuroverkko. Vierekkyysrelaatiojärjestelmällä kuvataan rakenteita formaalisti joukkojen avulla. Joukkomäärittelyt määrittävät myös relaatioita joukkojen alkioiden eli elementtien väleille, jotka voidaan esittää myös visuaalisesti verkonkaltaisena kuviona. Neuroverkko on keinotekoinen hermoverkko, jonka malli on otettu aivojen tiedonkäsittelystä konnektionistisen näkemyksen mukaisesti. Neuroverkko koostuu neuroneista, jotka ovat yksinkertaisia prosessoreita, mutta joiden avulla voidaan käsitellä tehokkaasti moniulotteistakin tietoa. Neuronit jaetaan kerroksiin siten, että kussakin kerroksessa on useita neuroneja, jotka suorittavat prosessointinsa samanaikaisesti. Kerroksittain samanaikainen prosessointi tekee neuroverkosta hyvin rinnakkaissuoritteisen ja neuroverkon prosessointiin käyttämä aika voidaankin laskea kerrosten mukaan neuroverkon neuronien summan sijasta. Vierekkyysrelaatiojärjestelmä voidaan esittää, ja on yleensä esitetty joukkojen joukkona tai verkkomaisena kuviona jonka solmut on ryhmitelty. Neuroverkko esitetään usein verkon neuronin matemaattisena mallina tai verkkona, jonka neuronit on ryhmitelty kerroksiin. Vierekkyysrelaatiojärjestelmällä kuvattu neuroverkko eroaa huomattavasti alkuperäisestä muodostaan, mikä tässä tutkielmassa käy ilmi. Vierekkyysrelaatiojärjestelmällä kuvatussa neuroverkossa on kahden mallinnustason mallien piirteitä. Kuvaukseen sisältyy esimerkiksi relaatioiden joukot, jotka eivät muutu vaikka kuvattava neuroverkko vaihtuisi tai muuten muuttuisi. Toisaalta taas kuvaukseen sisältyy mm. kuvattavan neuroverkon neuronit, kaaret ja kerrokset siten että niiden lukumäärä käy ilmi, mikä on riippuvaista kuvattavasta neuroverkosta.fi=Opinnäytetyö kokotekstinä PDF-muodossa.|en=Thesis fulltext in PDF format.|sv=Lärdomsprov tillgängligt som fulltext i PDF-format

Neuroverkot jatkuvatoimisessa sellunkeittoprosessissa

Tiivistelmä. Tämän kandidaatintyön tarkoituksena on tutustua neuroverkkoihin ja siihen, miten niitä voidaan hyödyntää jatkuvatoimisessa sellunkeittoprosessissa. Työssä kerrotaan aluksi pääpiirteissään sellunkeittoprosessista ja sen merkityksestä. Prosessi käydään läpi vaihe vaiheelta hyvin tiivistetyllä tasolla. Sen jälkeen työssä avataan keinotekoisten neuroverkkojen käsitettä, rakennetta sekä toimintaa yksinkertaistetulla tasolla menemättä liikaa niiden matemaattiseen perustaan. Lopuksi työssä perehdytään verkkojen käyttömahdollisuuksiin kyseiseen prosessiin liittyen. Keinotekoisen neuroverkon voidaan katsoa olevan biologista neuroverkkoa jäljittelevä järjestelmä, joka perustuu kuitenkin puhtaasti laskentaan ilman minkäänlaista tietoisuutta. Kyseiset järjestelmät ovat suuresta potentiaalistaan huolimatta vielä hyvin harvinaisia prosessitarkoituksissa

Aikasarja-aineiston ennustaminen neuroverkolla : Tarkastelussa OMXH25-indeksi

Pitkään vallinneet teoriat tehokkaista markkinoista ja niiden satunnaiskulusta ovat saaneet vuosien aikana myös kilpailevia teorioita eri tutkimuksiin pohjautuen. Hypoteesit esittävät, että markkinoilla esiintyy epätehokkuuksia ja momentumia. Tällaisia teorioita ovat esimerkiksi tyylitellyt faktat sekä aikasarjan momentum -teoria. Niiden mukaan markkinoiden omilla liikkeillä on yhteys tulevaan ja liike markkinoilla ei ehkä ole niin sattumanvaraista. Tällaiset teoriat avaavat mielenkiintoisen mahdollisuuden tutkia rahoitusmarkkinoiden lainalaisuuksia erilaisin keinoin. Eräs tällainen menetelmä ovat neuroverkot, joilla on kyky analysoida aikasarja-aineistoja sekä epälineaarista dataa. Tässä pro gradu -tutkielmassa tarkastellaan neuroverkkojen ennustekykyä Suomen markkinoilla, tarkemmin OMXH25-indeksissä, jossa tämänkaltaisia tutkimuksia ei ole juurikaan tehty. Tutkimuksessa haetaan vastauksia kolmeen tutkimuskysymykseen. Minkälainen ennustekyky neuroverkolla on eri aikasarjoilla OMXH25-indeksissä? Onko tutkimuksessa käytettävien neuroverkkomalleilla eroja ennustekyvyssä? Voiko sijoittaja saada hyötyä neuroverkkojen käytöstä? Tutkielmassa käytetään neuroverkkona pitkäkestoista työmuistia. Tutkimus on myös rajattu siltä osin, että käytössä on kolme eri aikasarjaa ja neljä eri neuroverkkomallia, joiden hyperparametrit eroavat hieman toisistaan. Neuroverkkomallien ennustekykyä tullaan myös vertaamaan autoregressiiviseen malliin. Teoriaosuudessa käsitellään tutkimuksen teoreettinen viitekehys, sisältäen sekä talousteoriat että neuroverkon teorian. Neuroverkoista käsitellään sen toimintaperiaate, rakenne sekä koulutus. Lisäksi tutkielma avaa tarkemmin käytettäviä neuroverkkoja sekä tarjoaa perustelut, miksi juuri kyseinen neuroverkko ja parametrit valikoituivat käyttöön testissä. Tutkielman empiirisessä osiossa käydään läpi aineiston kerääminen ja esikäsittely. Lisäksi empiirinen osio käsittää mallien rakentamisen sekä koulutuksen. Lopuksi esitellään ja analysoidaan tutkimuksesta saatavat tulokset sekä tehdään johtopäätökset tutkimuskysymysten perusteella. Tulosten pohjalta voitiin sanoa, että neuroverkkojen ennustekyvyillä oli eroja eri aikasarjojen välillä. Mitä pidempi aikasarja oli käytössä, sitä useampi neuroverkkomalli kykeni voittamaan vertailumallin. Tulokset myös osoittivat, ettei tutkimuksessa käytettävien neuroverkkomallien ennustekyvyissä oli eroja erityisesti lyhyemmillä aikasarjoilla. Lisäksi tulosten pohjalta voitiin vetää johtopäätös siitä, ettei neuroverkkojen käytöstä ollut käytännön hyötyä sijoittajalle ennustekyvyn ollessa käytännössä liian heikko kaikissa aineistoissa. Neuroverkko kykeni kuitenkin tunnistamaan aineistoista trendejä, joka avaa mahdollisuuden tutkia neuroverkon käyttöä pidemmän aikavälin kaupassa

Avoimen lähdekoodin oppiva konenäköjärjestelmä teollisuuskäytössä

Tämä tutkimustyö on suoritettu ABB Oy:lle, sen Smart Power -yksikölle. ABB Smart Power valmistaa erilaisia sähkön tuotannossa, jakelussa ja käyttämisessä tarvittavia tuotteita. Työn tavoitteena oli tutkia avoimen lähdekoodin oppivan konenäköjärjestelmän soveltuvuutta teolli-suuden käyttöön. Neuroverkot ja niiden konenäkösovellukset ovat kehittyneet viime vuosina merkittävästi. Kaupallisia neuroverkkoihin perustuvia konenäköratkaisuja on saatavilla, mutta myös avoimen lähdekoodin neuroverkkosovelluksissa on omat mahdollisuutensa. Tätä mah-dollisuutta haluttiin tutkia tässä työssä. Työn teoriaosuudessa tutustuttiin konenäön, neuroverkkojen ja avoimen lähdekoodin teori-oihin, tutkimuksiin sekä esimerkkisovelluksiin. Neuroverkkoja on tutkimusten mukaan hyödyn-netty erilaisiin kohteiden tunnistamisiin ja luokitteluihin sekä poikkeamien etsimiseen. Interne-tistä on saatavilla esimerkkisovelluksia kaikista näistä sovelluksista. Työn käytännön osuudessa tuotannosta kartoitettiin kaksi käyttökohdetta haastattelujen ja kyselyiden avulla. Käyttökohteiksi valikoituivat tuotepakkauksen sisällön tarkistus -sovellus ja laaduntarkastussovellus. Näille käyttökohteille suoritettiin Proof-of-Concept-testit. Ensimmäi-sessä PoC-testissä, tuotepakkauksen sisällön tarkistuksessa, tutkittiin kahden eri neurover-kon soveltuvuutta. Molemmat käytetyt neuroverkot kykenevät tunnistamaan pakkaukseen kuu-luvat komponentit luotettavasti, tunnistusvarmuuksien ollessa erinomaisia. Toisessa PoC-testissä tutkittiin neuroverkkojen soveltuvuutta laaduntarkastuskäyttöön. Tavoitteena oli löytää neuroverkko, joka kykenee tunnistamaan minkä tahansa tuotteessa esiintyvän kosmeettisen virheen tai puutteen. Tässäkin testissä käytettiin kahta eri neuroverk-koa. Toinen osoittautui tavoiteltuun käyttöön soveltumattomaksi, mutta toinen toimi juuri halu-tulla tavalla. Käytetyn neuroverkon tunnistusvarmuus oli hyvä, ja se kykeni löytämään yhtä lu-kuun ottamatta kaikki virheet. Proof-of-Concept-testeillä osoitettiin avoimen lähdekoodin konenäköjärjestelmän toimivuus ja jatkokehitysmahdollisuudet. Tutkimuksen perusteella voidaan todeta, että avoimen lähde-koodin oppiville konenäköjärjestelmille voidaan löytää sovelluksia teollisesta tuotannosta. Jat-kokehitystä kuitenkin tarvitaan ennen kuin tässä tutkimuksessa käytetyt neuroverkot soveltu-vat tuotantokäyttöön. Avainsanat: Neuroverkot, konenäkö, koneoppiminen, tunnistaminen, laaduntarkastu

Neuroverkon opettaminen vastavirta-algoritmilla

Neuroverkot ovat tärkeä työkalu kuvan- ja puheentunnistuksessa, klusteroinnissa ja monessa muussa tehtävässä, joihin perinteinen tietokoneohjelma ei pysty. Työn tarkoitus on esitellä neuroverkkoja ja niiden opettamista vastavirta-algoritmin avulla. Vastavirta-algoritmi käyttää hyödykseen funktion differentoituvuutta ja minimoi neuroverkon virhefunktion gradienttimenetelmien avulla. Neuroverkoista esitellään perinteinen rakenne ja kaksi erilaista neuronimallia. Neuroverkkojen opettamisessa keskitytään vastavirta-algoritmin vahvuuksiin varsinkin sigmoid-neuroverkoissa. Työ aloitetaan neuroverkon ja sen rakenteen ja opettamisen esittelyllä. Neuroverkko koostuu kerroksista, jotka sisältävät neuroneita. Neuroverkoissa on aina vähintään 2 kerrosta: syöte- ja ulostulokerros. Näiden kerrosten välillä voi olla yksi tai useam pi piilokerros. Tarkastellaan myös mitä hyötyä neuroverkoista on eri aloilla. Työssä esitellään lisäksi erot ohjatun, ohjaamattoman ja osittain ohjatun oppimisen välillä. Neuroverkko opetetaan opetusaineiston avulla, joka voi sisältää pelkästään syötevektorin tai myös ulostulovektorin. Neuroverkkojen jälkeen tutustutaan matemaattisiin käsitteisiin, joita hyödynnetään vastavirta-algoritmissa. Käsitteitä ovat osittaisderivaatta ja gradientti, konveksisuus ja ääriarvot. Tämän jälkeen siirrytään optimoinnin perusteisiin ja funktion ääriarvon etsimiseen gradienttimenetelmän avulla. Gradienttimenetelmissä käytetään yleensä yksiulotteista viivahakua oikean askelpituuden määrittämiseksi. Työssä esitetään myös ero perinteisten gradienttimenetelmien ja neuroverkon opettamisessa joskus käytettävän stokastisen gradienttimenetelmän välillä. Matemaattisten käsitteiden jälkeen työssä esitellään vastavirta-algoritmi ja sen laskemistapa. Vastavirta-algoritmi aloittaa nimensä mukaisesti neuroverkon ulostulokerroksesta ja siirtyy aina edeltävään kerrokseen, kunnes saavuttaa syötekerroksen. Tavoitteena on löytää neuroverkolle optimaaliset muuttujat, jotta virhefunktion arvo on mahdollisimman pieni tai nolla. Työssä kerrotaan, miten vastavirta-algoritmia käytetään ja, miten sen laskukaavat toimivat. Lopuksi esitellään vastavirta-algoritmin käyttö numerontunnistuksesa ja sigmoid-neuroverkoissa

Koneoppiminen röntgenramansirontakokeen data-analyysissä

Röntgenramansirontaspektroskopia (XRS) on energisiin fotoneihen perustuva spektroskopian laji, jossa röntgensäteet siroavat näytteestä epäelastisesti. Siroava fotoni menettää energiaa virittäen atomin tai molekyylin kuorielektronin korkeampaan energiatilaan. Energiahäviöitä mittaamalla muodostetaan röntgenabsorptiospektriä vastaava spektri. Osa fotoneista siroaa kuitenkin näyteympäristöstä eikä näytteestä muodostaen taustasäteilyä. Perinteisesti tutkijan pitää luokitella näytteestä peräisin olevat spektrit käsin. Tässä tutkielmassa olen käyttänyt koneoppimismenetelmiä jotta tutkijan tarvitsisi luokitella vain murto-osa kaikista spektreistä käsin antaen koneoppimismallin luokitella loput. Käytetty röntgenspektrometridata on peräisin European Synchrotron Radiation Facilitystä (ESRF), jonka varastorenkaan ja röntgenramanspektrometrin toimintaa käsittelen teoreetisesti. Olen käyttänyt kahta koneoppimismallia, tukivektorikonetta ja neuroverkkoa, näytteestä sironneiden ja taustasta sironneiden spektrien luokittelemiseksi. Kumpikin malli opetetaan luokittelemaan spektrejä koulutusjoukolla, joka koostuu käsin luokitelluista spektreistä. Lisäksi käsittelen molempien mallien teoreettista toimintaperiaatetta. Teen päätelmän kokeellisiin tuloksiin perustuen, että sekä tukivektorikone että neuroverkko kykenevät tehokkaaseen spektrien luokitteluun vetäen vertoja ihmisen luokittelukyvylle. Molempien suorituskyky on hyvin samankaltainen mutta erityisesti tukivektorikone erottuu neuroverkosta sen helpon käytettävyyden, nopean laskennan ja yksinkertaisen toimintaperiaatteen vuoksi. Neuroverkko on tässä tapauksessa paljon raskaampi menetelmä, jonka suorituskyky ei ole tukivektorikonetta parempi