Kvadratično programiranje i linearna zadaća komplementarnosti

Linearna zadaća komplementarnosti je sjajan kontekst u kojem se mogu prikazati pojmovi iz linearne algebre i teorije matrica pa smo se na početku rada dotakli osnovnih pojmova i rezultata vezanih za matrice, konkretno pozitivno definitne i semidefinitne matrice. Osim toga, prisjetili smo se još pokojeg rezultata o konveksnim kvadratičnim funkcijama koji su nam pomogli u razumijevanju zadaće kvadratičnog programiranja. Prije uspostavljanja veze između zadaće kvadratičnog programiranja i linearne zadaće komplementarnosti, pozabavili smo se uvjetima optimalnosti prvog reda, odnosno izveli smo Karush-Kuhn-Tuckerove uvjete koji su ključno vezivo za izgradnju mosta među spomenutim zadaćama. Kako mnogo toga u linearnoj zadaći komplementarnosti počiva na ideji komplementarnog konusa, bilo je neizbježno zastati i prokomentirati zadaću u terminima konusa te demonstrirati to primjerom. Glavni dio poglavlja o linearnoj zadaći komplementarnosti je svakako rasprava o egzistenciji i broju rješenja. Isprva smo se bazirali na klasu pozitivno definitnih i semidefinitnih matrica te pokazali u slučaju pozitivno semidefinitne matrice M da je zadaća rješiva ako je dopustiva, a u slučaju pozitivno definitnh matrica je k tome rješenje i jedinstveno za svaki vektor q. Osim te dvije klase, govorili smo i o klasama S-matrica i P-matrica. Ova posljednja nam je bila posebno zanimljiva jer smo za tu klasu mogli dati teorem koji govori da je jedinstveno rješenje linearne zadaće komplementarnosti također jedinstveno rješenje zadaće kvadratičnog programiranja. Na samom kraju rada pozabavili smo se algoritmima za rješavanje linearne zadaće komplementarnosti direktnim metodama te pokazali na primjerima kako možemo riješiti zadaću linearne komplementarnosti te zadaću kvadratičnog programiranja koristeći Lemkeov algoritam.The linear complementarity problem is an excellent context to illustrate concepts of linear algebra and matrix theory. At the beginning we introduced some basic terms and results regarding matrix theory, especially positive definite and semi-definite matrices. Moreover, we mentioned some results concerning convex quadratic functions as they are essential for understanding of quadratic program. Before establishing the connection between quadratic program and linear complementarity problem, we defined first-order optimality conditions. More precisely, we derived Karush-Kuhn-Tucker conditions that are integral part of building the connection between aforementioned problems. In the third chapter, we introduced the concept of complementarity cones as linear complementarity problem rests on that idea. We demonstrated that by the example. Main part of the chapter is based on presenting the results pertaining to the existence and multiplicity of solutions to the linear complementarity problem. At first, we were based only on the class of positive definite and positive semi-definite matrices. In the case of positive semidefinite matrices we showed an important result: if the linear complementarity problem is feasible, then it’s solvable. In the case of positive definite matrices, the linear complementarity problem has a unique solution. Moreover, we mentioned the classes of S-matrices and P-matrices. Class of P-matrices has an interesting property as the unique solution of linear complementarity problem characterized by P-matrix is also the unique solution of the quadratic program. At the end, we developed Lemke’s algorithm for solving the linear complementarity problem and made some examples with linear complementarity problem and quadratic program

Kvadratično programiranje i linearna zadaća komplementarnosti

Linearna zadaća komplementarnosti je sjajan kontekst u kojem se mogu prikazati pojmovi iz linearne algebre i teorije matrica pa smo se na početku rada dotakli osnovnih pojmova i rezultata vezanih za matrice, konkretno pozitivno definitne i semidefinitne matrice. Osim toga, prisjetili smo se još pokojeg rezultata o konveksnim kvadratičnim funkcijama koji su nam pomogli u razumijevanju zadaće kvadratičnog programiranja. Prije uspostavljanja veze između zadaće kvadratičnog programiranja i linearne zadaće komplementarnosti, pozabavili smo se uvjetima optimalnosti prvog reda, odnosno izveli smo Karush-Kuhn-Tuckerove uvjete koji su ključno vezivo za izgradnju mosta među spomenutim zadaćama. Kako mnogo toga u linearnoj zadaći komplementarnosti počiva na ideji komplementarnog konusa, bilo je neizbježno zastati i prokomentirati zadaću u terminima konusa te demonstrirati to primjerom. Glavni dio poglavlja o linearnoj zadaći komplementarnosti je svakako rasprava o egzistenciji i broju rješenja. Isprva smo se bazirali na klasu pozitivno definitnih i semidefinitnih matrica te pokazali u slučaju pozitivno semidefinitne matrice M da je zadaća rješiva ako je dopustiva, a u slučaju pozitivno definitnh matrica je k tome rješenje i jedinstveno za svaki vektor q. Osim te dvije klase, govorili smo i o klasama S-matrica i P-matrica. Ova posljednja nam je bila posebno zanimljiva jer smo za tu klasu mogli dati teorem koji govori da je jedinstveno rješenje linearne zadaće komplementarnosti također jedinstveno rješenje zadaće kvadratičnog programiranja. Na samom kraju rada pozabavili smo se algoritmima za rješavanje linearne zadaće komplementarnosti direktnim metodama te pokazali na primjerima kako možemo riješiti zadaću linearne komplementarnosti te zadaću kvadratičnog programiranja koristeći Lemkeov algoritam.The linear complementarity problem is an excellent context to illustrate concepts of linear algebra and matrix theory. At the beginning we introduced some basic terms and results regarding matrix theory, especially positive definite and semi-definite matrices. Moreover, we mentioned some results concerning convex quadratic functions as they are essential for understanding of quadratic program. Before establishing the connection between quadratic program and linear complementarity problem, we defined first-order optimality conditions. More precisely, we derived Karush-Kuhn-Tucker conditions that are integral part of building the connection between aforementioned problems. In the third chapter, we introduced the concept of complementarity cones as linear complementarity problem rests on that idea. We demonstrated that by the example. Main part of the chapter is based on presenting the results pertaining to the existence and multiplicity of solutions to the linear complementarity problem. At first, we were based only on the class of positive definite and positive semi-definite matrices. In the case of positive semidefinite matrices we showed an important result: if the linear complementarity problem is feasible, then it’s solvable. In the case of positive definite matrices, the linear complementarity problem has a unique solution. Moreover, we mentioned the classes of S-matrices and P-matrices. Class of P-matrices has an interesting property as the unique solution of linear complementarity problem characterized by P-matrix is also the unique solution of the quadratic program. At the end, we developed Lemke’s algorithm for solving the linear complementarity problem and made some examples with linear complementarity problem and quadratic program

Kvadratično programiranje i linearna zadaća komplementarnosti

Linearna zadaća komplementarnosti je sjajan kontekst u kojem se mogu prikazati pojmovi iz linearne algebre i teorije matrica pa smo se na početku rada dotakli osnovnih pojmova i rezultata vezanih za matrice, konkretno pozitivno definitne i semidefinitne matrice. Osim toga, prisjetili smo se još pokojeg rezultata o konveksnim kvadratičnim funkcijama koji su nam pomogli u razumijevanju zadaće kvadratičnog programiranja. Prije uspostavljanja veze između zadaće kvadratičnog programiranja i linearne zadaće komplementarnosti, pozabavili smo se uvjetima optimalnosti prvog reda, odnosno izveli smo Karush-Kuhn-Tuckerove uvjete koji su ključno vezivo za izgradnju mosta među spomenutim zadaćama. Kako mnogo toga u linearnoj zadaći komplementarnosti počiva na ideji komplementarnog konusa, bilo je neizbježno zastati i prokomentirati zadaću u terminima konusa te demonstrirati to primjerom. Glavni dio poglavlja o linearnoj zadaći komplementarnosti je svakako rasprava o egzistenciji i broju rješenja. Isprva smo se bazirali na klasu pozitivno definitnih i semidefinitnih matrica te pokazali u slučaju pozitivno semidefinitne matrice M da je zadaća rješiva ako je dopustiva, a u slučaju pozitivno definitnh matrica je k tome rješenje i jedinstveno za svaki vektor q. Osim te dvije klase, govorili smo i o klasama S-matrica i P-matrica. Ova posljednja nam je bila posebno zanimljiva jer smo za tu klasu mogli dati teorem koji govori da je jedinstveno rješenje linearne zadaće komplementarnosti također jedinstveno rješenje zadaće kvadratičnog programiranja. Na samom kraju rada pozabavili smo se algoritmima za rješavanje linearne zadaće komplementarnosti direktnim metodama te pokazali na primjerima kako možemo riješiti zadaću linearne komplementarnosti te zadaću kvadratičnog programiranja koristeći Lemkeov algoritam.The linear complementarity problem is an excellent context to illustrate concepts of linear algebra and matrix theory. At the beginning we introduced some basic terms and results regarding matrix theory, especially positive definite and semi-definite matrices. Moreover, we mentioned some results concerning convex quadratic functions as they are essential for understanding of quadratic program. Before establishing the connection between quadratic program and linear complementarity problem, we defined first-order optimality conditions. More precisely, we derived Karush-Kuhn-Tucker conditions that are integral part of building the connection between aforementioned problems. In the third chapter, we introduced the concept of complementarity cones as linear complementarity problem rests on that idea. We demonstrated that by the example. Main part of the chapter is based on presenting the results pertaining to the existence and multiplicity of solutions to the linear complementarity problem. At first, we were based only on the class of positive definite and positive semi-definite matrices. In the case of positive semidefinite matrices we showed an important result: if the linear complementarity problem is feasible, then it’s solvable. In the case of positive definite matrices, the linear complementarity problem has a unique solution. Moreover, we mentioned the classes of S-matrices and P-matrices. Class of P-matrices has an interesting property as the unique solution of linear complementarity problem characterized by P-matrix is also the unique solution of the quadratic program. At the end, we developed Lemke’s algorithm for solving the linear complementarity problem and made some examples with linear complementarity problem and quadratic program

A Disparateness-Aware Scheduling using K-Centroids Clustering and PSO Techniques in Hadoop Cluster

U ovom radu smo se bavili razvojem nužnih i dovoljnih uvjeta optimalnosti. Na samom početku smo obradili pitanje egzistencije rješenja zadaće nelinearnog programiranja i u tu svrhu smo dokazali poopćenu verziju Weierstrassovog teorema. Prokomentirali smo osnovne rezultate za jednostavniji slučaj uvjetne optimizacije u kojem je dopustivi skup zatvoren i konveksan. U ostatku rada analiziramo općenitiju zadaću nelinearnog programiranja u kojoj je dopustivi skup zatvoren i funkcija cilja diferencijabilna. Iskazali smo geometrijske uvjete optimalnosti koji zahtijevaju da je u točki lokalnog minimuma presjek tangencijalnog konusa i konusa svih smjerova silaska prazan skup. Budući da je tangencijalni konus općenito teško izračunati, uveli smo dodatne uvjete tipa nejednakosti na dopustivi skup koji olakšavaju računanje konusa koji dobro aproksimiraju tangencijalni konus. Novouvedeni konusi nas vode do Fritz Johnovih uvjeta optimalnosti koji su ipak dosta slabi i mogu ih zadovoljavati mnoge točke koje nisu lokalno optimalne. Stoga smo uveli dodatni zahtjev Abadijevog uvjeta regularnosti i time smo došli do specijalnog slučaja Fritz Johnovih uvjeta koji je poznat kao Karush-Kuhn-Tuckerovi uvjeti. Kako Abadijev uvjet nije uvijek lako provjeriti definirali smo i ostale najčešće korištene uvjete regularnosti koji impliciraju Abadijev. Pokazali smo da su Karush-Kuhn-Tuckerovi uvjeti optimalnosti općenito nužni, a u zadaćama konveksnog programiranja dovoljni za lokalnu optimalnost točke.In this thesis we studied development of necessary and sufficient optimality conditions. At the beginning we introduced an important result about existence of solutions to a nonlinear programming problem, known as generalized Weierstrass’ theorem. We introduced some basic results for the case of constrained optimization over closed and convex sets. The rest of the thesis deals with a quite general nonlinear programming problem, where feasible set is closed and the objective function is differentiable. We established geometric optimality conditions which say that at every point of local minimum, the intersection of tangent cone and cone of descent directions must be an empty set. Tangent cone is nearly impossible to compute for general feasible sets so we gave a specific description of a feasible set in terms of inequalities, which helps us to compute other cones that approximate tangent cone in many practical situations. In this way we obtain the Fritz John conditions that, however, are somewhat too weak to be practical and they can be satisfied by many points that have nothing in common with locally optimal points. We assume an additional regularity on feasible set, Abadie’s constraint qualification, and we get special case of Fritz John conditions, known as Karush-Kuhn-Tucker optimality conditions. Abadie’s constraint qualification is difficult to check when it comes to practical problems so we defined some computationally verifiable assumptions that all imply Abadie’s constraint qualification. We showed that Karush-Kuhn-Tucker optimality conditions are necessary, and for convex problems the Karush-Kuhn-Tucker optimality conditions are sufficient for local optimality

Algoritmi učenja bazirani na jezgrama

Analiza uzoraka sastavni je dio znanstvenih disciplina kao što su strojno učenje, rudarenje podataka, statistika i bioinformatika. U ovom radu promatrali smo kako primijeniti jezgrine funkcije u različitim algoritmima za učenje te kako takvim pristupom pronaći uzorke među podacima. Vidjeli smo da je takav pristup modularan, odnosno da se svaka jezgra mogla koristiti u svakom algoritmu i obratno. Modularnost te činjenica da je pristup bio u stanju premostiti razlike koje su postojale u različitim disciplinama u kojima se analiza uzoraka koristila, pružili su nam je jedinstveni alat za rad nad podacima svih tipova, bili oni vektori, skupovi, stringovi ili čak neki složeni oblik podatka. U prvom poglavlju opisali smo problem te smo naveli matematičke definicije koje smo koristili u daljnjem tekstu radi njegovog lakšeg razumijevanja. U drugom poglavlju smo najprije kroz konkretan primjer uveli pojam jezgrinih funkcija. Vidjeli smo kako smo pomoću njih mogli pronaći linearne relacije u nekom konačnom skupu podataka te smo saznali koje su prednosti njihovog korištenja. Zatim smo napravili klasifikaciju jezgrinih funkcija prema tipu podataka za koji su predviđene. U trećem poglavlju opisali smo efikasne algoritme učenja za probleme otkrivanja noviteta, klasifikacije i regresije koji su bazirani na potpornim vektorima. U četvrtom poglavlju implementirali smo dva algoritma za klasifikaciju s dvije različite jezgre, te smo ih primijenili za problem kategorizacije teksta. Iz dobivenih razultata zaključili smo kako robusnost algoritma itekako utječe na uspješnost klasifikacije. Robusniji algoritam je bio daleko uspješniji. Vidjeli smo kako su izbor jezgri i odabir njihovih parametara također utjecali na uspješnost algoritama.Pattern analysis is an integral part of many scientific disciplines such as machine learning, data mining, statistics and bioinformatics. In this thesis, we have observed how to apply kernel methods in different learning algorithms and how to find patterns between data. We have seen that such approach is modular, any kernel method can be combined with any algorithm and vice versa. The modularity and the fact that the approach was able to bridge the gaps that existed between the different disciplines in which pattern analysis is used, have provided us with a unique tool for working on data of all types, whether they are vectors, sets, strings, or even a complex form of data. In the first chapter we have described the problem and we have outlined the mathematical definitions we have used in the following text to make it easier to understand. In the second chapter we introduced the term kernel method in a concrete example. We’ve seen how to find linear relations in some finite data set, and we’ve seen the benefits of using them. Then we’ve made the classification of the kernel methods according to the type of data they are intended for. In the third chapter, we have described efficient learning algorithms for novelty detection, classification and regression based on the support vectors. In the fourth chapter, we implemented two classification algorithms with two different kernels and applied them to the problem of text categorization. From the obtained results, we concluded that the robustness of the algorithm greatly influences the success of the classification. A more robust algorithm was far more successful. We have seen that the choice of the kernels and the selection of their parameters also influenced the success of algorithms

Quadratic Programming

Cilj ovoga rada je prikazati problem pronalaženja optimalnog rješenja (ili optimalnih rješenja ukoliko ih ima više) optimizacijskog problema u kojemu je funkcija cilja kvadratna, a ograničenja su dana u obliku linearnih jednadžbi i/ili nejednadžbi. U radu ćemo promatrati uglavnom problem minimizacije, odnosno nastojat ćemo naći točku ili točke globalnog minimuma funkcije cilja na dopustivom području (području određenom nekim danim ograničenjima) te vrijednost funkcije cilja u tim točkama. Na početku rada definirat ćemo kvadratnu funkciju više varijabli, pozitivno semidefinitne i pozitivno definitne matrice, konveksnu funkciju te dati uvjet kada je kvadratna funkcija konveksna. Nadalje ćemo navesti uvjete koje svako optimalno rješenje ovog problema nužno mora zadovoljavati (Karush-Kuhn-Tuckerovi uvjeti) i njihovu primjenu na problem kvadratnog programiranja. U dugom djelu rada upoznat ćemo se s metodom unutarnje točke, kao algoritmom za rješavanje kvadratnog problema optimizacije i opisati Newtonovu metodu za rješavanje sustava nelinearnih jednadžbi na kojoj se navedena metoda i temelji. Međutim, zbog postojanja ograničenja nenegativnosti, Newtonova metoda za generiranje novih procjena rješenja ne može se izravno primijeniti. Stoga je potrebno napraviti prilagodbe u smjeru traženja optimalnog rješenja te ćemo u radu razmatrati tzv. usmjerene Newtonove puteve i iznijeti koncept središnjeg puta. Na kraju rada dat ćemo konkretan primjer za izradu optimalnog portfelja temeljenog na problemu kvadratnog programiranja, nakon čega ćemo provesti detaljnu analizu rješenja danog problema

Quadratic Programming

Cilj ovoga rada je prikazati problem pronalaženja optimalnog rješenja (ili optimalnih rješenja ukoliko ih ima više) optimizacijskog problema u kojemu je funkcija cilja kvadratna, a ograničenja su dana u obliku linearnih jednadžbi i/ili nejednadžbi. U radu ćemo promatrati uglavnom problem minimizacije, odnosno nastojat ćemo naći točku ili točke globalnog minimuma funkcije cilja na dopustivom području (području određenom nekim danim ograničenjima) te vrijednost funkcije cilja u tim točkama. Na početku rada definirat ćemo kvadratnu funkciju više varijabli, pozitivno semidefinitne i pozitivno definitne matrice, konveksnu funkciju te dati uvjet kada je kvadratna funkcija konveksna. Nadalje ćemo navesti uvjete koje svako optimalno rješenje ovog problema nužno mora zadovoljavati (Karush-Kuhn-Tuckerovi uvjeti) i njihovu primjenu na problem kvadratnog programiranja. U dugom djelu rada upoznat ćemo se s metodom unutarnje točke, kao algoritmom za rješavanje kvadratnog problema optimizacije i opisati Newtonovu metodu za rješavanje sustava nelinearnih jednadžbi na kojoj se navedena metoda i temelji. Međutim, zbog postojanja ograničenja nenegativnosti, Newtonova metoda za generiranje novih procjena rješenja ne može se izravno primijeniti. Stoga je potrebno napraviti prilagodbe u smjeru traženja optimalnog rješenja te ćemo u radu razmatrati tzv. usmjerene Newtonove puteve i iznijeti koncept središnjeg puta. Na kraju rada dat ćemo konkretan primjer za izradu optimalnog portfelja temeljenog na problemu kvadratnog programiranja, nakon čega ćemo provesti detaljnu analizu rješenja danog problema

Bilevel optimization

U ovom radu opisuje se problem dvorazinske optimizacije, s posebnim naglaskom na problem linearne dvorazinske optimizacije gdje pretpostavljamo da su funkcije na obje razine afine. Problemi dvorazinske optimizacije imaju drugi (parametarski) problem optimizacije kao dio ograničenja. Za problem linearne dvorazinske optimizacije navode se svojstva i optimalna rješenja na temelju geometrijske interpretacije. Izučava se egzistencija optimalnih rješenja, te pomoću Karush-Kuhn-Tuckerovih uvjeta optimalnosti za donju razinu problema dobivaju se Karush-Kuhn-Tuckerovi uvjeti optimalnosti za problem linearne dvorazinske optimizacije. Navode se algoritmi za rješavanje danog problema te se postavlja pitanje traženja globalnog optimalnog rješenja. Bez pretpostavki afinosti funkcija na obje razine, dolazi se do općenitijeg modela dvorazinske optimizacije. Navode se nužni i dovoljni uvjeti optimalnosti kao i algoritam za izračunavanje Clarkeove stacionarne točke kao optimalnog rješenja problema. Na kraju ovog rada, navode se razne primjene dvorazinske optimizacije u stvarnom svijetu, koje su imale snažan utjecaj na porast istraživanja ovog optimizacijskog problema.In this paper we study the bilevel optimization problem, with special emphasis on the linear bilevel optimization problem where we assume that the functions on both levels are affine. Bilevel optimization problems have another (parametric) optimization problem as part of the constraints. For the linear bilevel optimization problems, properties and optimal solutions based on geometric interpretation are given. The existence of optimal solutions is studied, and using Karush-Kuhn-Tucker optimality conditions for the lower level problem, Karush- Kuhn-Tucker optimality conditions for the linear bilevel optimization problem are obtained. Algorithms for solving a given problem are given and the question of searching for a global optimal solution is raised. Without the assumptions of the affinity of the functions at both levels, a more general model of bilevel optimization is arrived at. Necessary and suficient optimality conditions are given as well as an algorithm for calculating the Clarke stationary point as the optimal solution to the problem. At the end of this paper, various applications of bilevel optimization in the real world are listed, which have had a strong impact on the growth of research on this optimization problem

Bilevel optimization

U ovom radu opisuje se problem dvorazinske optimizacije, s posebnim naglaskom na problem linearne dvorazinske optimizacije gdje pretpostavljamo da su funkcije na obje razine afine. Problemi dvorazinske optimizacije imaju drugi (parametarski) problem optimizacije kao dio ograničenja. Za problem linearne dvorazinske optimizacije navode se svojstva i optimalna rješenja na temelju geometrijske interpretacije. Izučava se egzistencija optimalnih rješenja, te pomoću Karush-Kuhn-Tuckerovih uvjeta optimalnosti za donju razinu problema dobivaju se Karush-Kuhn-Tuckerovi uvjeti optimalnosti za problem linearne dvorazinske optimizacije. Navode se algoritmi za rješavanje danog problema te se postavlja pitanje traženja globalnog optimalnog rješenja. Bez pretpostavki afinosti funkcija na obje razine, dolazi se do općenitijeg modela dvorazinske optimizacije. Navode se nužni i dovoljni uvjeti optimalnosti kao i algoritam za izračunavanje Clarkeove stacionarne točke kao optimalnog rješenja problema. Na kraju ovog rada, navode se razne primjene dvorazinske optimizacije u stvarnom svijetu, koje su imale snažan utjecaj na porast istraživanja ovog optimizacijskog problema.In this paper we study the bilevel optimization problem, with special emphasis on the linear bilevel optimization problem where we assume that the functions on both levels are affine. Bilevel optimization problems have another (parametric) optimization problem as part of the constraints. For the linear bilevel optimization problems, properties and optimal solutions based on geometric interpretation are given. The existence of optimal solutions is studied, and using Karush-Kuhn-Tucker optimality conditions for the lower level problem, Karush- Kuhn-Tucker optimality conditions for the linear bilevel optimization problem are obtained. Algorithms for solving a given problem are given and the question of searching for a global optimal solution is raised. Without the assumptions of the affinity of the functions at both levels, a more general model of bilevel optimization is arrived at. Necessary and suficient optimality conditions are given as well as an algorithm for calculating the Clarke stationary point as the optimal solution to the problem. At the end of this paper, various applications of bilevel optimization in the real world are listed, which have had a strong impact on the growth of research on this optimization problem

Bilevel optimization

U ovom radu opisuje se problem dvorazinske optimizacije, s posebnim naglaskom na problem linearne dvorazinske optimizacije gdje pretpostavljamo da su funkcije na obje razine afine. Problemi dvorazinske optimizacije imaju drugi (parametarski) problem optimizacije kao dio ograničenja. Za problem linearne dvorazinske optimizacije navode se svojstva i optimalna rješenja na temelju geometrijske interpretacije. Izučava se egzistencija optimalnih rješenja, te pomoću Karush-Kuhn-Tuckerovih uvjeta optimalnosti za donju razinu problema dobivaju se Karush-Kuhn-Tuckerovi uvjeti optimalnosti za problem linearne dvorazinske optimizacije. Navode se algoritmi za rješavanje danog problema te se postavlja pitanje traženja globalnog optimalnog rješenja. Bez pretpostavki afinosti funkcija na obje razine, dolazi se do općenitijeg modela dvorazinske optimizacije. Navode se nužni i dovoljni uvjeti optimalnosti kao i algoritam za izračunavanje Clarkeove stacionarne točke kao optimalnog rješenja problema. Na kraju ovog rada, navode se razne primjene dvorazinske optimizacije u stvarnom svijetu, koje su imale snažan utjecaj na porast istraživanja ovog optimizacijskog problema.In this paper we study the bilevel optimization problem, with special emphasis on the linear bilevel optimization problem where we assume that the functions on both levels are affine. Bilevel optimization problems have another (parametric) optimization problem as part of the constraints. For the linear bilevel optimization problems, properties and optimal solutions based on geometric interpretation are given. The existence of optimal solutions is studied, and using Karush-Kuhn-Tucker optimality conditions for the lower level problem, Karush- Kuhn-Tucker optimality conditions for the linear bilevel optimization problem are obtained. Algorithms for solving a given problem are given and the question of searching for a global optimal solution is raised. Without the assumptions of the affinity of the functions at both levels, a more general model of bilevel optimization is arrived at. Necessary and suficient optimality conditions are given as well as an algorithm for calculating the Clarke stationary point as the optimal solution to the problem. At the end of this paper, various applications of bilevel optimization in the real world are listed, which have had a strong impact on the growth of research on this optimization problem