Bratko, Ivan

Solina, Franc

University of Ljubljana Computer and Information Science ePrints.fri

Bodo roboti prevladali nad človekom? Vprašanje so v odprtem pismu zastavili vrhunski 
svetovni znanstveniki za umetno inteligenco in robotiko. Katere etične dileme se še poja-
vljajo, pa sta predstavila profesorja Ivan Bratko in Franc Solina s Fakultete za računalništvo 
in informatiko. 
Zlorabe na spletu so večja grožnja 
stroji, se bomo čez nekaj časa znanstveniki čudili, kako to, 
da nam je umetna inteligenca ušla izpod nadzora.« Tako 
akademik Ivan Bratko pojasnjuje bistvo javnega apela, na-
menjena predvsem vladam in zakonodajalcem po svetu. 
Nad razmerami je zaskrbljen tudi njegov kolega Franc Soli-
na: »Socialne posledice revolucije računalnikov in robotov 
bodo hujše, kot so bile pri industrijski revoluciji.«
V knjigi Robotika in umetna inteligenca, ki jo je pred dvema 
mesecema izdala Slovenska matica, oba profesorja predsta-
vljata področji, za kateri sta specialista. Ivan Bratko, vodja 
laboratorija za umetno inteligenco na ljubljanski fakulteti 
za računalništvo in informatiko, piše o robotskem odkri-
vanju abstraktnih pojmov, Franc Solina, vodja fakultetne-
ga laboratorija za računalniški vid, pa skupaj z umetnikom 
za video Srečom Draganom prikazuje, kako so nove raču-
nalniške tehnologije povezale znanstvenike in umetnike. 
Knjiga ima devet piscev, na prvem mestu pa je poglavje o 
roboetiki oziroma robotski etiki (njen avtor je nedavno pre-
minuli akademik Jože Trontelj), kar potrjuje vtis, da veliko 
znanstvenikov, ne samo najbolj znani na ameriškem MIT, 
namenja prav etiki že skoraj enakovredno pozornost kot 
razvoju tehnologij. Zakaj je tako močno zrasla zaskrblje-
nost, ni težko uganiti. Na prvem mestu so namreč grozote, 
ki jih povzročajo z bombami opremljena vojaška brezpilo-
tna letala, vodena iz oddaljenih računalniških centrov. 
Pametni stroji s smrtonosnim poslanstvom zbujajo sla-
bo vest znanstvenikov, zato želijo alarmirati svetovno jav-
nost. Niso pa edini, ki jih črviči dvom o umetni inteligenci 
zaradi morebitnih črnih slik o družbi, predani naprednim 
tehnologijam. Pred tednom se je oglasil celo ustanovitelj 
Microsofta Bill Gates. Po njegovem bi lahko umetna inteli-
genca postala tako močna, da bi ušla človeškemu nadzoru 
in postala grožnja za človeka.  
❝
Profesor Bratko, za kakšne raziskave uporabljate v vašem 
laboratoriju humanoidnega robota z imenom Nao?
Ivan Bratko: Z Naom raziskujemo, kako se robot v svojem 
okolju uči abstraktnih pojmov, denimo, kako deluje gravi-
tacija, ki je sicer nevidna sila, razloži pa pojav, kot je pada-
nje predmetov k tlom. Ali pa osvajanje pojma stabilnosti, ki 
»Znanstveniki v odprtem pismu pravzaprav 
ne načenjajo neposredno vprašanja, ali bodo 
roboti prevladali nad ljudmi. Ta nevarnost za 
zdaj ni videti realna. Želijo pa zagotoviti čim 
bolj družbeno koristno uporabo tehničnih 
dosežkov umetne inteligence, ki imajo lahko 
zelo daljnosežne posledice, pozitivne in nega-
tivne. Zato predlagajo raziskave, ki bi poiskale 
poti, na primer z ustrezno zakonodajo za op-
timalne koristi te tehnologije za človeka in za 
preprečevanje možnih negativnih posledic. 
Tudi jaz sem podpisal odprto pismo, ker sem 
prepričan, da če ne bomo pravočasno zakon-
sko uredili zaščite človeka pred pametnimi 
Tekst
Lidija Pavlovčič
Foto 
Igor Zaplatil
umetna inteligenca
Ivan Bratko in Franc   ●
Solina, Fakulteta za ra-
čunalništvo, Ljubljana, 
26.Januar2015
Ivan 
Bratko
Franc 
Solina
Ivan Bratko: Z daljinskim vode- ❝
njem brezpilotna letala iz nekega 
računalniškega centra usmerjajo 
na cilje, kamor mečejo bombe in 
ubijajo ljudi, tudi civiliste. To pa je 
že zloraba znanstvenih dosežkov.
Franc Solina: Morda se ne  ❝
zavedamo dovolj, kaj se je zgodilo 
z Edwardom Snowdnom in da je v 
ozadju doseg umetne inteligence. 
S sofisticiranimi algoritmi je na-
mreč iz množice podatkov mogo-
če povleči za nekoga zelo koristne 
informacije.
inteRVJu
pelje k odgovoru, katere konstrukcije se lahko 
porušijo. Kako pa naj robot sam odkrije ta po-
jem, ne da bi ga tega naučili ljudje? Navsezadnje 
so tudi ljudje potrebovali ogromno časa za to, 
da so pravilno formulirali pojem stabilnosti. 
V našem laboratoriju za umetno inteligen-
co smo med prvimi na svetu naredili korak v 
smeri samostojnega odkrivanja abstraktnih 
pojmov, ne moremo pa še napovedati, da bi 
to lahko uporabljali v industriji že denimo čez 
dve leti. Zanesljivo pa je obvladovanje abstrak-
tnih pojmov smer v razvoju robotov. Ko smo v 
Pragi na razstavi Future Emerging Technologies 
predstavili en dan življenja robota Nao, smo 
osvojili prvo nagrado. Naš projekt je bil tako 
kot drugi na razstavi med tistimi, ki jih je fi-
nancirala evropska komisija. 
Kaj je bilo tako izjemnega v projektu En dan 
življenja robota Nao, da ste zmagali?
Bratko: Po scenariju mojega sodelavca dr. 
Jureta Žabkarja je robot z otroškim glasom 
razložil, da je sicer najprej pripadal ljudem, 
potem pa so pozabili nanj, zato je zdaj prepu-
ščen samemu sebi. Ko so obiskovalke sejma to 
slišale, so postale žalostne in takoj izpolnile 
glasovalni listič za našega Naa. Tako smo do-
bili veliko glasov. Nao je pripoved nadaljeval: 
da ne ve, kje se je znašel, zato mora raziska-
ti okolje in predmete v bližini. Podal se je v 
raziskovanje okolja in odkrivanje zakonov v 
tem okolju. Pokazal je, kako se orientira, kako 
postavlja kocke in žoge ter druge predmete 
v okolju. Tako je z razlikovanjem med kocko 
in žogo odkrival koncept stabilnosti in ovir 
v okolju, skratka vse tisto, čemur rečemo ab-
straktni pojmi.
Solina: S prikazom delovanja robota Nao 
smo vstopili na novo področje socialne robo-
tike, kar je korak naprej od prvotne faze, ko 
so roboti delovali samo v tovarnah. Z njiho-
vim vstopom v človeško družbo so se pojavili 
novi problemi naprednih tehnologij in novo 
področje raziskav. Se spomnite japonske digi-
talne igračke tamagoči, ki jo je moral lastnik 
hraniti? Ta igračka je pokazala, kako se ljudje 
lahko čustveno navežemo na enostavno stvar. 
Ko pa bodo med nami antropomorfni roboti, 
bodo odnosi verjetno še bolj izraziti.
Roboti bodo torej kmalu vstopili v človeško 
družbo. Na etične dileme in druge posledi-
ce tega vstopa so opozorili tudi znanstveni-
ki v odprtem pismu. So razmere res že tako 
alarmantne?
Bratko: Problemi umetne inteligence so ve-
liko bolj resni, kot jih sprejema svet, o čemer 
sem se lani pogovarjal s pobudnikom odprte-
ga pisma Stuartom Russellom, ki ga je skupaj z 
desetimi znanstveniki objavil prejšnji mesec. 
Čeprav ljudje večinoma mislijo, da so roboti 
super, ker nam pomagajo, vidim med najbolj 
resnimi problemi pametnih strojev današnjo 
vlogo brezpilotnih letal. Z daljinskim vode-
njem jih iz nekega računalniškega centra 
usmerjajo na cilje, kamor mečejo bombe in 
ubijajo ljudi, tudi civiliste. To pa je že zloraba 
znanstvenih dosežkov. 
Zlorablja jih vojaška industrija, ki veliko 
vlaga v raziskave in razvoj umetne inteli-
gence. Prav to pa je lahko tudi povod za 
znanstveni razmislek o etiki.
Bratko: Uporaba brezpilotnih letal za vojaške 
namene in s tem povezane etične dileme so 
samo en vidik problema. Daljnosežnejši se mi 
zdi, če bi računalniki oziroma umetna inteli-
genca nekako prevzeli oblast nad človeštvom. 
Vendar ni verjetno, da bi se to zgodilo prek 
robotov. Lahko pa si predstavljam, kako bi se 
to zgodilo prek svetovnega spleta. Zato niti 
ni nujno, da bi umetna inteligenca presegla 
človeško, čeprav se nekateri bojijo prav tega v 
stilu: ko bo umetna inteligenca presegla člo-
veško, bo konec človeštva. Ni videti, niti zakaj 
niti kako. Ljudje ne bodo sploh vedeli, kdaj bo 
– če bo – nastopil trenutek, ko bodo računal-
niki bolj inteligentni kot človek.
Je res možno, da ljudje ne bi niti opazili, da 
so jih računalniki prehiteli v inteligentno-
sti?
Bratko: Seveda. Inteligenco sestavljajo razne 
komponente: spomin, računanje, sklepanje, 
učenje, razpoznavanje, smisel za humor … Ne 
bomo vedeli, kdaj je računalnik v vseh kom-
ponentah boljši kot človek. V nekaterih je že 
zdavnaj presegel človeka, recimo v računanju 
in enostavnem spominu. Računalnik je na pri-
mer v šahu že nepremagljiv, pri številnih opra-
vilih pa še zaostaja za človekom. Poleg tega so 
za računalnik za zdaj nedosegljive še veliko 
bolj subtilne oblike inteligence, kot je razume-
vanje humorja ali naravnega jezika človeka. 
Tudi pri vidu precej zaostaja za človekom. 
Nemogoče si je predstavljati, da bi računalniki 
v doglednem času videli tako dobro kot lju-
dje. Do tega sem precej skeptičen. Pred krat-
kim sem bil na neki konferenci robotikov in 
znanstvenikov za umetno inteligenco, kjer 
so predstavili tudi primer, kako robot prine-
se kavo na mizo, pogleda, kje so stranke, in 
jih postreže. Ob tem me je zanimalo, kako bo 
reagiral v situacijah, ki jih ni bilo v scenariju 
njegovega gibanja, denimo če polije kavo ali če 
položi skodelico na rob mize tako, da pade na 
tla in se razbije. Znanstvenike sem vprašal, ali 
bo znal robot pobrati črepinje in se opravičiti 
gostom, pa so mi zatrdili, da je nemogoče, da 
bi to naredil, že zato, ker črepinj ne vidi dovolj 
dobro. Čeprav je bil predstavljen evropski pro-
jekt vreden več milijonov evrov, je bil računal-
niški vid še vedno nepremostljiva ovira.
Profesor Solina, kje so glavne ovire pri 
razvoju računalniškega vida?
Solina: Zmožnost zaznavanja okolja je najbolj 
kritična pri inteligentnih robotih, zlasti ko 
se gibljejo v nestrukturiranem okolju. To so 
prostori, kjer bivamo in delamo ljudje, torej 
v okolju, ki se spreminja. Veliko lažje se robot 
znajde v industrijskem okolju, kjer je natanč-
no določeno, kje nekaj je. Princip večine se-
danjih umetnih sistemov računalniškega vida 
je, da sistem lahko prepozna samo vnaprej 
določene modele. Če želi spoznati skodelice, 
mora imeti programiran sistem zanje, težava 
pa je v tem, da je v nestrukturiranem okolju 
na stotine različnih skodelic. Če je skodelica 
drugačne oblike in barve, kot je v robotskem 
spominu, potem je ne prepozna. Robotski 
sistem bi se moral naučiti abstrahirati, da bi 
iz slik stotine različnih oblik skodelic sestavil 
prototip skodelice, kar pa ni enostavno. Robot 
bi moral osvojiti vizualno učenje, da bi lahko 
suvereno obvladal nestrukturirano okolje, kot 
je gospodinjstvo. 
Dokler bo človek ohranil nadzor nad raču-
nalniki, smo lahko mirni. Kaj bo pa potem, 
ko bi izgubil nadzor?
Bratko: Prepričan sem, da bomo ohranili nad-
zor. Večjo nevarnost predstavlja vpliv, ki pri-
haja prek interneta, ko sploh ne vemo več, kdo 
pošilja pošto in kdo piše na blogih. Mogoče 
tega sploh ne pišejo več ljudje. Tudi jezik, ki se 
uporablja na internetu in socialnih omrežjih, 
ni več normalen človeški jezik. Večinoma se 
uporabljajo le kratke fraze in simboli. Na ta 
veliko bolj primitiven jezik se privajajo tudi 
ljudje. Iz zapisov pa ne moremo razbrati, ali jih 
piše človek ali računalnik. Lahko si zamisli-
mo, da bi inteligenten računalnik, ki je nekje 
dobil določene cilje, ki zadevajo denimo biolo-
ško hrano in prehransko industrijo, delal tako, 
da bo dosegel te cilje. Najbolje je, če jih sku-
ša doseči prek politike, zato mora računalnik 
vstopiti v politiko. Pristopi lahko tako, da prek 
socialnih omrežij izbere ljudi, ki bodo njegove 
ideje takoj zagrabili. 
Ljudje, ki so dovolj vodljivi, pohlepni in am-
biciozni, bi delali vse po navodilih računalni-
ka in bi lahko v naslednjem koraku ustanovili 
celo novo stranko. Računalnik bi lahko tako 
uspešno manipuliral z množico, da bi navse-
zadnje zmagal na volitvah. 
Manipulacija na volitvah v povezavi z ra-
čunalnikom pa je velika nevarnost. Da je tak 
scenarij možen, mi je pritrdil tudi Stuart Rus-
sell, zato sem malo razočaran, da tega vodilni 
znanstveniki umetne inteligence niso omenili 
v odprtem pismu. Domnevam, da so to izpu-
stili zato, ker so bili previdni in so se zavedali 
političnih razsežnosti. 
Solina: Zdi se mi, da je situacija z odprtim 
pismom podobna razmeram po drugi svetov-
ni vojni, ko je veliko fizikov sodelovalo pri 
razvoju jedrskega orožja, kasneje pa so posta-
li njegovi glavni nasprotniki. Veseli me, da se 
je širša znanstvena družba začela pogovarjati 
o možnih družbenih posledicah tehnologij. 
Doslej smo namreč bili ponavadi navdušeni 
nad tehnološkim napredkom in sploh nismo 
razmišljali o negativnih vidikih razvoja. Reci-
mo v našem laboratoriju za računalniški vid se 
veliko ukvarjamo z razpoznavanjem človeških 
obrazov. Na videz je to prav nedolžna tehno-
logija.
Lahko dvomimo, ali gre res le za nedol-
žno tehnologijo, ko vemo, da Google in 
Facebook kupujeta podjetja za robotiko 
in umetno inteligenco. Tako korporacije 
odkrito postajajo Orwellov »veliki brat«, ki 
vse vidi. 
Bratko: Prav to se dogaja. Ne razumem, zakaj 
se vlade ne zganejo in predpišejo, do kam se 
lahko razmahnejo velike korporacije, da ne 
prestopijo meje zasebnosti človeka. Zdaj lah-
ko o posamezniku izbrskajo popolnoma vse 
podatke. Napočil je čas, da tudi znanstveniki 
resno raziščemo vse posledice, državne usta-
nove pa naj uredijo zakonodajo. 
Menim, da splet zaradi možnih velikih 
zlorab predstavlja večjo grožnjo za ljudi kot 
robotika in umetna inteligenca. Na spletu lo-
vijo ljudi z obljubami o boljši spletni izkušnji, 
če posredujejo še en podatek – in tako v nedo-
gled. Toda kam nas to pelje? Verjetno v smer, 
ko bi ljudje naredili vse, kar bi jim prek spleta 
narekoval računalnik, pa se tega ne bi niti za-
vedali. 
Naj opišem konkreten primer japonskega 
kolega za umetno inteligenco. Njega je po upo-
kojitvi najela družba, ki želi uporabljati splet 
za svoje koristi. Raziskal naj bi, kako prek sple-
ta oblikovati mnenje, da bi večina ljudi menila, 
da je Lancôme najboljše podjetje za kozmeti-
ko. Računalnik mora programirati tako, da bo 
znal pošiljati sporočila vplivnim ljudem na 
omrežjih, ki jih vsi berejo, njihov vpliv na dru-
ge pa naj bi vodil do cilja, torej do prepričanja 
o Lancômu kot najboljši kozmetični znamki. 
Japonski znanstvenik je pokazal, kako lahko 
prek spleta učinkovito obrneš javno mnenje. 
Ko sem ga vprašal, ali je pomislil na etični vi-
dik raziskave, se je čudil mojemu vprašanju. Saj 
gre vendar samo za kozmetiko, mi je odgovo-
ril. Bistvo pa je v tem, da lahko enako metodo 
kot v kozmetiki uporabimo tudi pri volitvah. 
Gre namreč za računalniško manipulacijo, s 
katero bi lahko spremenili volilni rezultat. 
Zato je odprto pismo pomemben dogodek, ki 
znanstvenike sili k etičnemu razmisleku. 
Solina: Morda se ne zavedamo dovolj, kaj 
se je zgodilo z Edwardom Snowdnom in da je 
v ozadju doseg umetne inteligence. S sofistici-
ranimi algoritmi je namreč iz množice podat-
kov mogoče povleči za nekoga zelo koristne 
informacije.
Razvoj robotike in umetne inteligence 
prinaša tudi veliko pozitivnih in koristnih 
učinkov. Kakšna je torej uporabnost robo-
tov v vsakdanjem življenju?
Bratko: Roboti so zelo koristni denimo pri re-
habilitaciji bolnikov. K napredku na tem po-
dročju so ogromno prispevali tudi slovenski 
raziskovalci. Zanimiv primer uporabe robotov 
je tudi v industriji: v avtomatiziranem skladi-
šču v Gorenju gospodinjske aparate, ki potu-
jejo po tekočem traku, roboti sami prenesejo 
na police, vodi pa jih računalnik. Industrijska 
uporaba robotov je danes že zelo pogosta in 
navsezadnje tudi roboti niso več neznansko 
dragi. Naš Nao stane približno deset tisoč 
evrov, slabša izvedba, to je tista brez prstov 
na roki, pa je celo cenejša. Zanimivo je tudi 
dansko podjetje Universal Robots in njihova 
prodaja robotov in različnih robotskih aplika-
cij. Ciljajo na to, da se vložek v nakup robota 
povrne v nekaj mesecih, ne v nekaj letih.
Solina: Velik premik v rehabilitacijski ro-
botiki so dosegli Američani. Lani je prvo pod-
jetje v Ameriki dobilo licenco za prodajo robo-
ta, ki hromim bolnikom pomaga hoditi, in to 
kar na njihovem domu. Z robotskimi nogami 
lahko bolnik hodi. Tako se je zgodil preboj, 
da so roboti za rehabilitacijo, ki so jih doslej 
uporabljali samo v kontroliranem okolju, kot 
je rehabilitacijski center, vstopili v domove 
pacientov. 
❞
človeku kot robotika


Zlorabe na spletu so večja grožnja človeku kot robotika

ePrints.FRI

Bodo roboti prevladali nad človekom? Vprašanje so v odprtem pismu zastavili vrhunski svetovni znanstveniki za umetno inteligenco in robotiko. Katere etične dileme se še poja-vljajo, pa sta predstavila profesorja Ivan Bratko in Franc Solina s Fakultete za računalništvo in informatiko. Zlorabe na spletu so večja grožnja stroji, se bomo čez nekaj časa znanstveniki čudili, kako to, da nam je umetna inteligenca ušla izpod nadzora.« Tako akademik Ivan Bratko pojasnjuje bistvo javnega apela, na-menjena predvsem vladam in zakonodajalcem po svetu. Nad razmerami je zaskrbljen tudi njegov kolega Franc Soli-na: »Socialne posledice revolucije računalnikov in robotov bodo hujše, kot so bile pri industrijski revoluciji.«V knjigi Robotika in umetna inteligenca, ki jo je pred dvema mesecema izdala Slovenska matica, oba profesorja predsta-vljata področji, za kateri sta specialista. Ivan Bratko, vodja laboratorija za umetno inteligenco na ljubljanski fakulteti za računalništvo in informatiko, piše o robotskem odkri-vanju abstraktnih pojmov, Franc Solina, vodja fakultetne-ga laboratorija za računalniški vid, pa skupaj z umetnikom za video Srečom Draganom prikazuje, kako so nove raču-nalniške tehnologije povezale znanstvenike in umetnike. Knjiga ima devet piscev, na prvem mestu pa je poglavje o roboetiki oziroma robotski etiki (njen avtor je nedavno pre-minuli akademik Jože Trontelj), kar potrjuje vtis, da veliko znanstvenikov, ne samo najbolj znani na ameriškem MIT, namenja prav etiki že skoraj enakovredno pozornost kot razvoju tehnologij. Zakaj je tako močno zrasla zaskrblje-nost, ni težko uganiti. Na prvem mestu so namreč grozote, ki jih povzročajo z bombami opremljena vojaška brezpilo-tna letala, vodena iz oddaljenih računalniških centrov. Pametni stroji s smrtonosnim poslanstvom zbujajo sla-bo vest znanstvenikov, zato želijo alarmirati svetovno jav-nost. Niso pa edini, ki jih črviči dvom o umetni inteligenci zaradi morebitnih črnih slik o družbi, predani naprednim tehnologijam. Pred tednom se je oglasil celo ustanovitelj Microsofta Bill Gates. Po njegovem bi lahko umetna inteli-genca postala tako močna, da bi ušla človeškemu nadzoru in postala grožnja za človeka.  ❝Profesor Bratko, za kakšne raziskave uporabljate v vašem laboratoriju humanoidnega robota z imenom Nao?Ivan Bratko: Z Naom raziskujemo, kako se robot v svojem okolju uči abstraktnih pojmov, denimo, kako deluje gravi-tacija, ki je sicer nevidna sila, razloži pa pojav, kot je pada-nje predmetov k tlom. Ali pa osvajanje pojma stabilnosti, ki »Znanstveniki v odprtem pismu pravzaprav ne načenjajo neposredno vprašanja, ali bodo roboti prevladali nad ljudmi. Ta nevarnost za zdaj ni videti realna. Želijo pa zagotoviti čim bolj družbeno koristno uporabo tehničnih dosežkov umetne inteligence, ki imajo lahko zelo daljnosežne posledice, pozitivne in nega-tivne. Zato predlagajo raziskave, ki bi poiskale poti, na primer z ustrezno zakonodajo za op-timalne koristi te tehnologije za človeka in za preprečevanje možnih negativnih posledic. Tudi jaz sem podpisal odprto pismo, ker sem prepričan, da če ne bomo pravočasno zakon-sko uredili zaščite človeka pred pametnimi TekstLidija PavlovčičFoto Igor Zaplatilumetna inteligencaIvan Bratko in Franc   ●Solina, Fakulteta za ra-čunalništvo, Ljubljana, 26.Januar2015Ivan BratkoFranc SolinaIvan Bratko: Z daljinskim vode- ❝njem brezpilotna letala iz nekega računalniškega centra usmerjajo na cilje, kamor mečejo bombe in ubijajo ljudi, tudi civiliste. To pa je že zloraba znanstvenih dosežkov.Franc Solina: Morda se ne  ❝zavedamo dovolj, kaj se je zgodilo z Edwardom Snowdnom in da je v ozadju doseg umetne inteligence. S sofisticiranimi algoritmi je na-mreč iz množice podatkov mogo-če povleči za nekoga zelo koristne informacije.inteRVJupelje k odgovoru, katere konstrukcije se lahko porušijo. Kako pa naj robot sam odkrije ta po-jem, ne da bi ga tega naučili ljudje? Navsezadnje so tudi ljudje potrebovali ogromno časa za to, da so pravilno formulirali pojem stabilnosti. V našem laboratoriju za umetno inteligen-co smo med prvimi na svetu naredili korak v smeri samostojnega odkrivanja abstraktnih pojmov, ne moremo pa še napovedati, da bi to lahko uporabljali v industriji že denimo čez dve leti. Zanesljivo pa je obvladovanje abstrak-tnih pojmov smer v razvoju robotov. Ko smo v Pragi na razstavi Future Emerging Technologies predstavili en dan življenja robota Nao, smo osvojili prvo nagrado. Naš projekt je bil tako kot drugi na razstavi med tistimi, ki jih je fi-nancirala evropska komisija. Kaj je bilo tako izjemnega v projektu En dan življenja robota Nao, da ste zmagali?Bratko: Po scenariju mojega sodelavca dr. Jureta Žabkarja je robot z otroškim glasom razložil, da je sicer najprej pripadal ljudem, potem pa so pozabili nanj, zato je zdaj prepu-ščen samemu sebi. Ko so obiskovalke sejma to slišale, so postale žalostne in takoj izpolnile glasovalni listič za našega Naa. Tako smo do-bili veliko glasov. Nao je pripoved nadaljeval: da ne ve, kje se je znašel, zato mora raziska-ti okolje in predmete v bližini. Podal se je v raziskovanje okolja in odkrivanje zakonov v tem okolju. Pokazal je, kako se orientira, kako postavlja kocke in žoge ter druge predmete v okolju. Tako je z razlikovanjem med kocko in žogo odkrival koncept stabilnosti in ovir v okolju, skratka vse tisto, čemur rečemo ab-straktni pojmi.Solina: S prikazom delovanja robota Nao smo vstopili na novo področje socialne robo-tike, kar je korak naprej od prvotne faze, ko so roboti delovali samo v tovarnah. Z njiho-vim vstopom v človeško družbo so se pojavili novi problemi naprednih tehnologij in novo področje raziskav. Se spomnite japonske digi-talne igračke tamagoči, ki jo je moral lastnik hraniti? Ta igračka je pokazala, kako se ljudje lahko čustveno navežemo na enostavno stvar. Ko pa bodo med nami antropomorfni roboti, bodo odnosi verjetno še bolj izraziti.Roboti bodo torej kmalu vstopili v človeško družbo. Na etične dileme in druge posledi-ce tega vstopa so opozorili tudi znanstveni-ki v odprtem pismu. So razmere res že tako alarmantne?Bratko: Problemi umetne inteligence so ve-liko bolj resni, kot jih sprejema svet, o čemer sem se lani pogovarjal s pobudnikom odprte-ga pisma Stuartom Russellom, ki ga je skupaj z desetimi znanstveniki objavil prejšnji mesec. Čeprav ljudje večinoma mislijo, da so roboti super, ker nam pomagajo, vidim med najbolj resnimi problemi pametnih strojev današnjo vlogo brezpilotnih letal. Z daljinskim vode-njem jih iz nekega računalniškega centra usmerjajo na cilje, kamor mečejo bombe in ubijajo ljudi, tudi civiliste. To pa je že zloraba znanstvenih dosežkov. Zlorablja jih vojaška industrija, ki veliko vlaga v raziskave in razvoj umetne inteli-gence. Prav to pa je lahko tudi povod za znanstveni razmislek o etiki.Bratko: Uporaba brezpilotnih letal za vojaške namene in s tem povezane etične dileme so samo en vidik problema. Daljnosežnejši se mi zdi, če bi računalniki oziroma umetna inteli-genca nekako prevzeli oblast nad človeštvom. Vendar ni verjetno, da bi se to zgodilo prek robotov. Lahko pa si predstavljam, kako bi se to zgodilo prek svetovnega spleta. Zato niti ni nujno, da bi umetna inteligenca presegla človeško, čeprav se nekateri bojijo prav tega v stilu: ko bo umetna inteligenca presegla člo-veško, bo konec človeštva. Ni videti, niti zakaj niti kako. Ljudje ne bodo sploh vedeli, kdaj bo – če bo – nastopil trenutek, ko bodo računal-niki bolj inteligentni kot človek.Je res možno, da ljudje ne bi niti opazili, da so jih računalniki prehiteli v inteligentno-sti?Bratko: Seveda. Inteligenco sestavljajo razne komponente: spomin, računanje, sklepanje, učenje, razpoznavanje, smisel za humor … Ne bomo vedeli, kdaj je računalnik v vseh kom-ponentah boljši kot človek. V nekaterih je že zdavnaj presegel človeka, recimo v računanju in enostavnem spominu. Računalnik je na pri-mer v šahu že nepremagljiv, pri številnih opra-vilih pa še zaostaja za človekom. Poleg tega so za računalnik za zdaj nedosegljive še veliko bolj subtilne oblike inteligence, kot je razume-vanje humorja ali naravnega jezika človeka. Tudi pri vidu precej zaostaja za človekom. Nemogoče si je predstavljati, da bi računalniki v doglednem času videli tako dobro kot lju-dje. Do tega sem precej skeptičen. Pred krat-kim sem bil na neki konferenci robotikov in znanstvenikov za umetno inteligenco, kjer so predstavili tudi primer, kako robot prine-se kavo na mizo, pogleda, kje so stranke, in jih postreže. Ob tem me je zanimalo, kako bo reagiral v situacijah, ki jih ni bilo v scenariju njegovega gibanja, denimo če polije kavo ali če položi skodelico na rob mize tako, da pade na tla in se razbije. Znanstvenike sem vprašal, ali bo znal robot pobrati črepinje in se opravičiti gostom, pa so mi zatrdili, da je nemogoče, da bi to naredil, že zato, ker črepinj ne vidi dovolj dobro. Čeprav je bil predstavljen evropski pro-jekt vreden več milijonov evrov, je bil računal-niški vid še vedno nepremostljiva ovira.Profesor Solina, kje so glavne ovire pri razvoju računalniškega vida?Solina: Zmožnost zaznavanja okolja je najbolj kritična pri inteligentnih robotih, zlasti ko se gibljejo v nestrukturiranem okolju. To so prostori, kjer bivamo in delamo ljudje, torej v okolju, ki se spreminja. Veliko lažje se robot znajde v industrijskem okolju, kjer je natanč-no določeno, kje nekaj je. Princip večine se-danjih umetnih sistemov računalniškega vida je, da sistem lahko prepozna samo vnaprej določene modele. Če želi spoznati skodelice, mora imeti programiran sistem zanje, težava pa je v tem, da je v nestrukturiranem okolju na stotine različnih skodelic. Če je skodelica drugačne oblike in barve, kot je v robotskem spominu, potem je ne prepozna. Robotski sistem bi se moral naučiti abstrahirati, da bi iz slik stotine različnih oblik skodelic sestavil prototip skodelice, kar pa ni enostavno. Robot bi moral osvojiti vizualno učenje, da bi lahko suvereno obvladal nestrukturirano okolje, kot je gospodinjstvo. Dokler bo človek ohranil nadzor nad raču-nalniki, smo lahko mirni. Kaj bo pa potem, ko bi izgubil nadzor?Bratko: Prepričan sem, da bomo ohranili nad-zor. Večjo nevarnost predstavlja vpliv, ki pri-haja prek interneta, ko sploh ne vemo več, kdo pošilja pošto in kdo piše na blogih. Mogoče tega sploh ne pišejo več ljudje. Tudi jezik, ki se uporablja na internetu in socialnih omrežjih, ni več normalen človeški jezik. Večinoma se uporabljajo le kratke fraze in simboli. Na ta veliko bolj primitiven jezik se privajajo tudi ljudje. Iz zapisov pa ne moremo razbrati, ali jih piše človek ali računalnik. Lahko si zamisli-mo, da bi inteligenten računalnik, ki je nekje dobil določene cilje, ki zadevajo denimo biolo-ško hrano in prehransko industrijo, delal tako, da bo dosegel te cilje. Najbolje je, če jih sku-ša doseči prek politike, zato mora računalnik vstopiti v politiko. Pristopi lahko tako, da prek socialnih omrežij izbere ljudi, ki bodo njegove ideje takoj zagrabili. Ljudje, ki so dovolj vodljivi, pohlepni in am-biciozni, bi delali vse po navodilih računalni-ka in bi lahko v naslednjem koraku ustanovili celo novo stranko. Računalnik bi lahko tako uspešno manipuliral z množico, da bi navse-zadnje zmagal na volitvah. Manipulacija na volitvah v povezavi z ra-čunalnikom pa je velika nevarnost. Da je tak scenarij možen, mi je pritrdil tudi Stuart Rus-sell, zato sem malo razočaran, da tega vodilni znanstveniki umetne inteligence niso omenili v odprtem pismu. Domnevam, da so to izpu-stili zato, ker so bili previdni in so se zavedali političnih razsežnosti. Solina: Zdi se mi, da je situacija z odprtim pismom podobna razmeram po drugi svetov-ni vojni, ko je veliko fizikov sodelovalo pri razvoju jedrskega orožja, kasneje pa so posta-li njegovi glavni nasprotniki. Veseli me, da se je širša znanstvena družba začela pogovarjati o možnih družbenih posledicah tehnologij. Doslej smo namreč bili ponavadi navdušeni nad tehnološkim napredkom in sploh nismo razmišljali o negativnih vidikih razvoja. Reci-mo v našem laboratoriju za računalniški vid se veliko ukvarjamo z razpoznavanjem človeških obrazov. Na videz je to prav nedolžna tehno-logija.Lahko dvomimo, ali gre res le za nedol-žno tehnologijo, ko vemo, da Google in Facebook kupujeta podjetja za robotiko in umetno inteligenco. Tako korporacije odkrito postajajo Orwellov »veliki brat«, ki vse vidi. Bratko: Prav to se dogaja. Ne razumem, zakaj se vlade ne zganejo in predpišejo, do kam se lahko razmahnejo velike korporacije, da ne prestopijo meje zasebnosti človeka. Zdaj lah-ko o posamezniku izbrskajo popolnoma vse podatke. Napočil je čas, da tudi znanstveniki resno raziščemo vse posledice, državne usta-nove pa naj uredijo zakonodajo. Menim, da splet zaradi možnih velikih zlorab predstavlja večjo grožnjo za ljudi kot robotika in umetna inteligenca. Na spletu lo-vijo ljudi z obljubami o boljši spletni izkušnji, če posredujejo še en podatek – in tako v nedo-gled. Toda kam nas to pelje? Verjetno v smer, ko bi ljudje naredili vse, kar bi jim prek spleta narekoval računalnik, pa se tega ne bi niti za-vedali. Naj opišem konkreten primer japonskega kolega za umetno inteligenco. Njega je po upo-kojitvi najela družba, ki želi uporabljati splet za svoje koristi. Raziskal naj bi, kako prek sple-ta oblikovati mnenje, da bi večina ljudi menila, da je Lancôme najboljše podjetje za kozmeti-ko. Računalnik mora programirati tako, da bo znal pošiljati sporočila vplivnim ljudem na omrežjih, ki jih vsi berejo, njihov vpliv na dru-ge pa naj bi vodil do cilja, torej do prepričanja o Lancômu kot najboljši kozmetični znamki. Japonski znanstvenik je pokazal, kako lahko prek spleta učinkovito obrneš javno mnenje. Ko sem ga vprašal, ali je pomislil na etični vi-dik raziskave, se je čudil mojemu vprašanju. Saj gre vendar samo za kozmetiko, mi je odgovo-ril. Bistvo pa je v tem, da lahko enako metodo kot v kozmetiki uporabimo tudi pri volitvah. Gre namreč za računalniško manipulacijo, s katero bi lahko spremenili volilni rezultat. Zato je odprto pismo pomemben dogodek, ki znanstvenike sili k etičnemu razmisleku. Solina: Morda se ne zavedamo dovolj, kaj se je zgodilo z Edwardom Snowdnom in da je v ozadju doseg umetne inteligence. S sofistici-ranimi algoritmi je namreč iz množice podat-kov mogoče povleči za nekoga zelo koristne informacije.Razvoj robotike in umetne inteligence prinaša tudi veliko pozitivnih in koristnih učinkov. Kakšna je torej uporabnost robo-tov v vsakdanjem življenju?Bratko: Roboti so zelo koristni denimo pri re-habilitaciji bolnikov. K napredku na tem po-dročju so ogromno prispevali tudi slovenski raziskovalci. Zanimiv primer uporabe robotov je tudi v industriji: v avtomatiziranem skladi-šču v Gorenju gospodinjske aparate, ki potu-jejo po tekočem traku, roboti sami prenesejo na police, vodi pa jih računalnik. Industrijska uporaba robotov je danes že zelo pogosta in navsezadnje tudi roboti niso več neznansko dragi. Naš Nao stane približno deset tisoč evrov, slabša izvedba, to je tista brez prstov na roki, pa je celo cenejša. Zanimivo je tudi dansko podjetje Universal Robots in njihova prodaja robotov in različnih robotskih aplika-cij. Ciljajo na to, da se vložek v nakup robota povrne v nekaj mesecih, ne v nekaj letih.Solina: Velik premik v rehabilitacijski ro-botiki so dosegli Američani. Lani je prvo pod-jetje v Ameriki dobilo licenco za prodajo robo-ta, ki hromim bolnikom pomaga hoditi, in to kar na njihovem domu. Z robotskimi nogami lahko bolnik hodi. Tako se je zgodil preboj, da so roboti za rehabilitacijo, ki so jih doslej uporabljali samo v kontroliranem okolju, kot je rehabilitacijski center, vstopili v domove pacientov. ❞človeku kot robotika

http://eprints.fri.uni-lj.si/2916/1/INTERVJU_bratko%2Dsolina.pdf

Zlorabe na spletu so večja grožnja človeku kot robotika

Abstract

Similar works

Full text

Available Versions

University of Ljubljana Computer and Information Science ePrints.fri

ePrints.FRI