HADOOP MAP/REDUCE YÖNTEMİ İLE KLASİK VERİ OKUMA TEKNİĞİ ARASINDA BİR PERFORMANS KARŞILAŞTIRILMASI

Abstract

Günümüzde teknolojinin hızlı gelişimine paralel olarak elde edilen muazzam sayıdaki bilgilerin işlenmesi büyük önem arz etmektedir. Bu “Büyük Veri”’lerin analizi için farklı yazılım araçları geliştirilmiştir. Büyük verileri işlemede kullanılan araçlardan biri olan Hadoop, yüksek maliyetli bilgisayarlar yerine sıradan bilgisayarlardan oluşan küme (cluster) üzerinde büyük verileri işleyen bir sistem olması sebebiyle tercih edilmekte ve kullanımı yaygınlaşmaktadır. Bu çalışmada, kelime sayma amacıyla Hadoop Map/Reduce tekniği kullanılarak geliştirilen bir uygulama ile Java dilinde geliştirilen diğer uygulamanın çalışma performansları işlem süresi açısından ortaya konulmuştur. Hadoop kullanılarak geliştirilen uygulamanın 1.000.000 adet kelimeyi Java uygulamasına göre 481 kat daha hızlı işlediği görülmüştür. Anahtar Kelimeler: Hadoop, Map/Reduce, Veri analizi