Eichberg, D.

Kohlmorgen, Udo

Schmeck, Hartmut

KITopen

Feinkornig parallele Varianten des Insel-ModellsGenetischer AlgorithmenDirk Eichberg, Udo Kohlmorgen, Hartmut SchmeckInstitut fur Angewandte Informatik und Formale BeschreibungsverfahrenUniversitat Karlsruhe, D-76128 KarlsruheE-mail: feichberg, kohlmorgen, schmeckg@aifb.uni-karlsruhe.deZusammenfassungIn diesem Beitrag berichten wiruber erste Ergebnisse einer systematischenUntersuchung verschiedener Moglichkeiten, Genetische Algorithmen auf demmassiv parallelen Rechner MasPar1 zu implementieren. Durch Aufteilung desProzessorfeldes in Teilfelder lat sich das Insel-Modell Genetischer Algorith-men simulieren mit Nachbarschaften zwischen Inseln, die durch die Verbin-dungsstruktur des Feldes in naturlicher Weise gegeben sind. Dadurch latsich sowohl der Einu von Parametern wie Migrationsrate, Migrationsinter-vall und Migrationsrichtung untersuchen als auch Moglichkeiten der parallelenAusfuhrung genetischer Operatoren auf (Teil-)Populationen. Die Ergebnissezeigen, da diese feinkornige Parallelisierung das Optimierungsverhalten Ge-netischer Algorithmen erheblich verbessern kann.1 EinleitungGenetische Algorithmen sind auf dem Prinzip der naturlichen Evolution beruhendeHeuristiken, die zur Losung von Such- und Optimierungsproblemen und zur Losunganderer schwerer Probleme verwendet werden. Ihre universelle Anwendbarkeit sowiedas fur viele Anwendungen nachgewiesene gute Optimierungsverhalten haben zu ei-nem starken Interesse an diesem Algorithmentyp gefuhrt (vgl. z.B. [5] und [8]). Wirddie Evolution groer Populationen potentieller Losungenuber viele Generationen be-trachtet, entsteht ein sehr hoher Rechenaufwand. Um trotzdem in vertretbarer Zeitzu guten Ergebnissen zu kommen, liegt es nahe, Parallelrechner einzusetzen.Wahrend bei Parallelisierungenublicherweise das funktionale Verhalten des se-quentiellen Algorithmus erhalten bleiben soll, fuhren die bekanntesten Ansatze derParallelisierung Genetischer Algorithmen auch zu neuen algorithmischen Strukturen.So werden im Insel-Modell Genetische Algorithmen auf mehreren unabhangigen (Teil-)Populationen gleichzeitig ausgefuhrt, verbunden mit der Moglichkeit, regelmaiggute Individuen zwischen 'benachbarten' Inseln auszutauschen (vgl. [1], [6], [10] und[11]).Neben diesem grobkornigen parallelen Ansatz gibt es mit dem Nachbarschafts-Modell auch eine feinkornig parallelisierte Variante Genetischer Algorithmen, bei derdie Population auf die Prozessoren eines groen (in der Regel gitterverbundenen)Prozessorfeldes verteilt wird. Die dadurch entstehende raumliche Anordnung der Po-pulation erlaubt die Verwendung von 'Nachbarschaften' bei der Selektion von Indi-viduen zur Erzeugung von Nachkommen fur die nachste Generation (vgl. [2], [7] und[9]).In diesem Beitrag wirduber einen neuen Parallelisierungsansatz berichtet, beidem das Insel-Modell Genetischer Algorithmen auf dem massiv parallelen RechnerMasPar1 implementiert wird. Die Inseln und ihre Nachbarschaften ergeben sich dabeiin naturlicher Weise durch Aufteilung des Prozessorfeldes in Teilfelder, die dann zurfeinkornig parallelen Ausfuhrung der genetischen Operatoren genutzt werden.Anhand mehrerer Anwendungsprobleme (u.a. das Traveling Salesperson Problemsowie kapazitatsbeschrankte Projektplanungsprobleme) wird das Optimierungsver-halten derartig parallelisierter Genetischer Algorithmen systematisch untersucht, ins-besondere interessiert der Einu von Zahl und Groe der Teilpopulationen sowie vonMigrationsrate, -intervall und -richtung auf den Verlauf der Evolution und auf dieQualitat der erzeugten Losungen.Nach einer Darstellung des klassischen Genetischen Algorithmus und der Paral-lelisierungsstrategien in den nachsten beiden Abschnitten wird in Abschnitt 4 dievon uns gewahlte Implementierung auf dem MasPar-Rechner genauer beschrieben.Abschnitt 5 enthalt erste Ergebnisse der durchgefuhrten systematischen Untersu-chungen.2 Klassischer Genetischer AlgorithmusIn diesem Abschnitt wird die Struktur des klassischen Genetischen Algorithmuserlautert, wie er z.B. von Goldberg in [5] beschrieben wird.Generell operiert ein Genetischer Algorithmus auf einer Menge von Individuen,auch Population genannt. Jedes Individium der Population reprasentiert durch einebinare Folge fester Lange eine potentielle Losung des betrachteten Problems, die Gutedes Individiums entspricht der Gute dieser Losung bezuglich der zu optimierendenZielfunktion.Aus der Population werden Eltern selektiert, um Nachkommen fur die folgen-de Generation zu erzeugen. Das klassische Selektionsverfahren entspricht der Ver-wendung eines Rouletterades, das fur jedes Individium einen Sektor enthalt, dessenGroe gema der relativen Gute des Individuums innerhalb der Populationgewahltwird. Dadurch bestimmt die relative Gute der Individuen die Wahrscheinlichkeit, mitder sie als Eltern selektiert werden. Es gibt eine Vielzahl anderer Selektionsverfahren,bei denen beispielsweise nicht die relative Gute, sondern der Rang eines Individiums2innerhalb der Population die Selektionswahrscheinlichkeit bestimmt oder bei denennur die besten x Prozent der Individuen gewahlt werden.Selektierte Eltern werden zufallig gepaart und produzieren durch Crossover ein biszwei Nachkommen. Durch die Kombination von Teilfolgen beider Elternteile erhaltendie Nachkommen Eigenschaften beider Eltern. Die Generation der Nachkommenwirdanschlieend einer Mutation unterworfen, die allerdings meist nur mit einer geringenWahrscheinlichkeit genetische Informationen verandert.Nach Ermittlung der Gute der Individuen der so entstandenen neuen Populationwird dieser Proze solange wiederholt, bis sich keine Verbesserungen bzw. Verande-rungen mehr ergeben, oder bis ein anderes Abbruchkriteriumerfullt ist. Der klassischeGenetische Algorithmus hat also folgende Struktur:Genetischer AlgorithmusErzeuge AnfangspopulationBEWERTUNG der IndividuenREPEATSELEKTION von ElternCROSSOVER zur Erzeugung von NachkommenMUTATION der NachkommenBEWERTUNG der neuen PopulationUNTIL Abbruchbedingung erfullt3 Parallelisierung Genetischer AlgorithmenBetrachtet man den im vorigen Abschnitt beschriebenen Genetischen Algorithmus,so fallt auf, da einige Komponenten leicht zu parallelisieren sind. Dazu gehorender Crossover, die Mutation und die Bewertung der Individuen. Bei genugend ho-hem Parallelitatsgrad lassen sich diese Schritte in konstanter Zeit ausfuhren, d.h.unabhangig von der Groe der Population. Dies gilt jedoch nicht fur die Selektion,da die Bestimmung der relativen Gute einen globalen Informationsaustausch voraus-setzt.Beim Insel-Modell Genetischer Algorithmen (vgl. [10] und [11]) geschieht die Par-allelisierung durch Aufteilung der Population auf mehrere Teilpopulationen, auf de-nen Genetische Algorithmen weitgehend unabhangig voneinander operieren. Dabeiwird jeder Teilpopulation (Insel) ein Prozessor zugeordnet. Bei dieser grobkornigenParallelisierung entsteht also ein neuer Genetischer Algorithmus ohne globalen Infor-mationsaustausch wahrend der Selektion. Auf eine Parallelisierung der fur groe Po-pulationen inharent parallelen genetischen Operationen wird dabei verzichtet. Nacheiner bestimmten Anzahl von Generationen, dem Migrationsintervall, wandern aus-gewahlte Individuen von Insel zu Insel, gema der Migrationsrate und festgelegter3Nachbarschaftsbeziehungen. Dadurch wird das genetische Material in allen Teilpo-pulationen aufgefrischt. Da die getrennte Entwicklung der Teilpopulationen zwischenden Migrationsvorgangen zu einer Nischenbildung fuhrt, wird der Suchraum an ver-schiedenen Stellen intensiver durchsucht. Dies verringert das Problem der vorzeitigenKonvergenz der Gesamtpopulation und man erreicht eine groere Vielfalt des gene-tischen Materials.Bei der anfangs beschriebenen feinkornigen Parallelisierung bietet es sich an, dieVerbindungsstruktur des verwendeten Parallelrechners auszunutzen. Wahlt man aufeinemgitterverbundenen Prozessorfeld die Eltern fur die Erzeugung der Nachkommennur aus benachbarten Prozessoren, so entsteht ein neuer Selektionsoperator mit reinlokalem Informationsaustausch. Dieses Nachbarschafts- oder auch Diusions-ModellGenetischer Algorithmen wird in dieser Arbeit aber nicht weiter betrachtet.Bei der Verwendung eines gitterverbundenen Prozessorfeldes fur die feinkornigeParallelisierung liegt es auerdem nahe, Eltern nicht zufallig zu paaren, sondern eindialleles Paarungsschema anzuwenden, d.h. in einem n  n Prozessorfeld werden nIndividuen selektiert und dann durch Verteilunguber Zeilen und Spalten vollstandigmiteinander kombiniert. Dies fuhrt zu einer wesentlich starkeren Ausnutzung desgenetischen Materials als im klassischen Genetischen Algorithmus.4 Implementierung des Insel-Modells auf einemfeinkornigen ParallelrechnerBei der von uns vorgenommenen feinkornigen Parallelisierung Genetischer Algorith-men wird jedem Prozessorelement des verwendeten MasPar1-Rechners mit 16 k Pro-zessoren ein Individium zugeordnet, d.h. die Prozessorzahl bestimmt die Groe derGesamtpopulation. Inselstrukturen ergeben sich dann durch Aufteilung des Prozes-sorfeldes in Teilfelder. Bei einer festen Populationsgroe von 16384 Individuen werden1024, 256, 64, 16, 4 oder 1 Teilpopulation(en) mit 16, 64, 256, 1024, 4096 und 16384Individuen betrachtet. In Abb. 1 sind 4 Inseln mit jeweils 4096 Individuen skizziert.Nachbarschaftsbeziehungen zwischen den Inseln ergeben sich automatisch durch dieVerbindungsstruktur des Prozessorfeldes, dabei wurden die auf dem MasPar-Rechnervorhandenen Diagonalverbindungen allerdings nicht benutzt. Jede Insel hat dahervier Nachbarinseln. Die Migration ndet nur zwischen benachbarten Inseln statt,d.h. eine durch die Migrationsrate bestimmte Zahl von Prozessorelementen an denRandern der Inseln schickt Individuen an benachbarte Inseln. Um den Einu dieserMigration genauer untersuchen zu konnen, lassen sich die erlaubten Migrationsrich-tungen festlegen, z.B. nur nach Norden oder Norden und Osten oder in alle vierRichtungen. Auch das Migrationsintervall kann frei gewahlt werden. Bei den von unsvorgenommenen Untersuchungen verwendeten wir eine Migrationsrate, die von derGroe der Teilpopulationen abhangt, und zwar werden jeweils pro Migrationsrichtungca. 10% der Randprozessoren ausgesucht.Durch die Aufteilung des Prozessorfeldes steht jeder Teilpopulation ein ihrer4. . .. . .. . .. . .............. . .. . .. . .. . .............. . .. . .. . .. . .............. . .. . .. . .. . .............1281 64 164128Abbildung 1: 4 Inseln mit je 4096 IndividuenGroe entsprechendes Teilfeld fur die Ausfuhrung der genetischen Operationen zurVerfugung. Als Paarungsschema wird das vollstandige Diallel verwendet. Als Elternwerden entweder die n besten Individuen oder n nach dem gutebasierten Rouletter-adverfahren (RRG) bestimmte Individuen selektiert.5 ErgebnisseIn diesemAbschnitt berichten wiruber einige Ergebnisse, der Anwendung des paralle-lisierten Genetischen Algorithmus auf das Traveling Salesperson Problem (TSP) undauf die kapazitatsbeschrankte Projektplanung (Ressource Constraint Project Schedu-ling Problem = RCPSP). Fur das TSP gibt es viele Vergleichswerte und das RCPSPist ein Problem, das im Operations Research wegen seiner vielfaltigen praktischenAnwendungen auch mit groem Interesse betrachtet wird (siehe z.B. [3]).523456791810242561 16Anzahl PopulationenNN-EN-E-S-W% über Optimum04 64Abbildung 2: Einu der Migrationsrichtung% über Optimum1 4 16 64 256Anzahl Populationen102414120246810153050Abbildung 3: Einu des Migrationsintervalls680,5BesteRRG1 4 16 64 256 1024Anzahl Populationen78,578,077,579,079,580,0ZielfunktionswerteAbbildung 4: Vergleich Selektionsstrategien: Beste RRG304050102060  010242561 64164RRGBesteAnzahl PopulationenAnzahl GenerationenAbbildung 5: Vergleich Selektionsstrategien: Beste RRGFur eine genaue Beschreibung der fur diese Probleme verwendeten genetischenReprasentierung sei auf [4] verwiesen. Abbildungen 2 bis 5 enthalten einen Teil derErgebnisse unserer empirischen Untersuchungen. Dabei beziehen sich Abb. 2 und 3auf ein TSP mit 51 Stadten und Abb. 4 und 5 auf ein RCPSP mit 60 Jobs auf 4 Ma-7schinen. Fur beide Probleme wurden die Daten Benchmarkbibliotheken entnommen.Die den Abbildungen zugrundeliegenden Zahlen sind Durchschnittswerte, die sichauf jeweils 4 unabhangige Durchlaufe des Genetischen Algorithmus beziehen. Furdie Migrationsrichtung hat sich gezeigt, da die besten Ergebnisse erreicht werden,wenn Individuen in alle 4 Richtungen wandern (siehe Abb. 2). Ferner erkennt man,da es gunstig ist, die Gesamtpopulation in 64 oder 256 Teilpopulationen aufzuteilen.Ohne Aufteilung in Teilpopulationen erhalt man in allen Fallen deutlich schlechtereErgebnisse. Abb. 3 zeigt daruberhinaus, da ein kleines Migrationsintervall einen po-sitiven Einu auf die Ergebnisse hat, wobei die Aufteilung auf 64 Teilpopulationenwiederum die am besten geeignete ist. Dabei ist allerdings zu berucksichtigen, dafur 256 und 1024 Teilpopulationen der Genetische Algorithmus nach 600 Generatio-nen abgebrochen wurde wahrend in den anderen Fallen ein Abbruch aufgrund vonKonvergenz erfolgte. Der Vergleich der beiden Selektionsstrategien (Abb. 4) ergibteinen deutlichen Vorteil der Auswahl der besten gegenuber dem Rouletteradverfah-ren. Auch hier erweist sich die Aufteilung der Gesamtpopulation auf 64 bzw. 256Teilpopulationen als gunstig. In Abb. 5 ist allerdings auch zu erkennen, da vieleTeilpopulationen mehr Generationen benotigen, um gute Ergebnisse zu erzielen.6 AusblickDie bisherigen Ergebnisse haben gezeigt, da mit der Implementierung des Insel-Modells Genetischer Algorithmen auf einem feinkornigen Parallelrechner nicht nurein hoher Zeitgewinn erzielt werden kann, sondern da daruberhinaus der paralle-lisierte Genetische Algorithmus der klassischen Variante im Optimierungsverhaltenuberlegen ist, zumindest fur die hier betrachteten Probleme. Durch Anwendung desVerfahrens fur andere Problemgroen und fur Probleme anderen Typs ist zu un-tersuchen, ob die Aussagenuber die gunstige Zahl und Groe von Teilpopulatio-nen,uber Migrationsstrategien unduber die Eigenschaften der verschiedenen Se-lektionsverfahren auch allgemeine Gultigkeit haben. Ferner liegt es nahe, das hierbeschriebene feinkornig parallelisierte Insel-Modell in seiner Leistungsfahigkeit mitdem Nachbarschafts-Modell zu vergleichen.Literatur[1] J. P. Cohoon, S. U. Hedge, W. N. Martin, and D. Richards. Punctuated equili-bria: A Parallel Genetic Algorithm. In J. J. Grefenstette(Ed.), Second Interna-tional Conference on Genetic Algorithms. Lawrence Erlbaum Associates, (1987),148-154.[2] R. J. Collins and D. R. Jeerson. Selection in massively parallel genetic algo-rithms. In R. K. Belew and L. B. Booker (Eds.), Fourth International Conferenceon Genetic Algorithms, Morgan Kaufmann, San Diego, CA, (1991), 244-248.8[3] W. Domschke und A. Drexl. Einfuhrung in Operations Research. Springer-Verlag, Berlin, Heidelberg, 1991.[4] D. Eichberg. Untersuchung des Insel-Modells Genetischer Algorithmen auf ei-nem massiv parallelen Rechner. Diplomarbeit, Universitat Karlsruhe, Institutfur Angewandte Informatik und Formale Beschreibungsverfahren, in Vorberei-tung.[5] D.E. Goldberg. Genetic Algorithms in Search, Optimization, and Machine Lear-ning. Addison-Wesley Publishing Company, 1989.[6] B. Kroger, P. Schwenderling, and O. Vornberger. Parallel Genetic Packing onTransputers. In Stender, J.(Ed.), Parallel Genetic Algorithms: Theory & App-lications, IOS Press, Amsterdam (1993), 151-185.[7] B. Manderick and P. Spiessens. Fine-grained parallel Genetic Algorithms. InJ. D. Schaer (Ed.), Third International Conference on Genetic Algorithms,Morgan Kaufmann, San Mateo, CA (1989), 428-433.[8] Z. Michalewicz. Genetic Algorithms + Data Structures = Evolution Programs.Springer Verlag, 1994.[9] M. Schwehm, Th. Oparterny, and K.-H. Kirsch. Plazierung von Makrozellendurch genetische Algorithmen auf verteilten und massiv parallelen Rechnern.Mitteilungen - Gesellschaft fur Informatik e.V., Parallel-Algorithmen und Rech-nerstrukturen, Workshop 1994, (1994), 69 -74.[10] R. Tanese. Distributed Genetic Algorithms. In J. D. Schaer (Ed.), Third In-ternational Conference on Genetic Algorithms, Morgan Kaufmann, San Mateo,CA, (1989), 434-439.[11] L. D. Whitley and T. Starkweather. Genitor II: a Distributed Genetic Algorithm.Expt. Theor. Artif. Intell., Vol. 2, (1990), 189-214.9

Feinkörnig parallele Varianten des Insel- Modells genetischer Algorithmen

https://publikationen.bibliothek.kit.edu/248095/2215

Feinkörnig parallele Varianten des Insel- Modells genetischer Algorithmen

Abstract

Similar works

Full text

Available Versions

KITopen