325 research outputs found
Autoscaling Hadoop Clusters
Pilve arvutused on viimaste aastate jooksul palju kõneainet pakkunud. Alates sellest, et
tegemist ei ole millegi muuga kui virtualiseerimine ilusa nimega, kuni selleni, et tulevik
on pilve arvutuste p aralt. Juba 4 aastat on virtuaalsed serverid, andmehoidlad, andmebaasid
ja muud infrastruktuuri elemendid olnud k attesaadavad veebiteenustena.
Antud töös me ehitame ise sklaleeruva MapReduce platvormi, mis baseerub vabalähtekoodiga
tarkvara Apache Hadoop projektil. Antud platvorm skaleerib end ise, vastavalt serverite
koormatusele k aivitab uusi servereid, et kiirendada arvutusprotsessi.Cloud computing, specifically Infrastructure as a Service model
provides us with the facilities to provision new servers at will and increase
the computing power of a cluster almost in real time. This provisioning
and deprovisioning of servers can happen automatically based on some
performance metrics of the cluster. We introduce a framework of autoscaling clusters in the private and public cloud ecosystem using the Eucalyptus and AWS
software stack and use MapReduce as the service provided by the cluster
- …