Diger

Hadoop Nedir?

31 Temmuz 2014

Birçoğumuzun merak ettiği ve birçoğumuzun da korkulu rüyası olan Hadoop nedir?

Hadoop Nedir?

Hadoop, cluster mimarisinden oluşmuş, Java’da yazılmış, Apache’de geliştirilmiş bir açık kaynak kodlu kütüphanedir. Sıradan sunucular (Commodity Hardware) üzerinden çalışan Hadoop, büyük verileri işlemek için geliştirilmiş bir frameworktür. Hadoop, Hadoop Distributed File System (HDFS) ve MapReduce özelliklerini bir araya getirir.

 

Hadoop : Güvenilir ve ölçeklenebilir dağıtık programlama için açık kaynak yazılımlar bütünüdür.

 

Hadoop ismini genel Facebook, Google, Yahoo gibi dev firmalarla birlikte duymuşuzdur. İşte bu devlerin milyonlarca müşteriyi memnun edebilmesinin altında yatan sır Hadoop. Bir örnek ile Hadoop’u anlatacak olursak; Facebook’ta bir kişiyi aradığımızda karşımıza onbinlerce seçimi sadece birkaç saniye sunması biraz imkansız gibi görünmüyor mu? İşte bu Hadoop sayesinde mümkün oluyor. Veya Amazon’da bir ürünü aradığımızda onlarda veri arasında bize doğru sonucu nasıl oluyor da bu kadar hızlı sunuyor?

 

Data Flow Architecture at Facebook

Data Flow Architecture at Facebook

 

HDFS Nedir?

HDFS; verilerin kaydedilmesi için kullanılan dağıtık (birden çok bilgisayar üzerinden çalışan) bir sistemdir. HDFS, namenode ve datanode’lardan oluşmaktadır. HDFS’nin en güzel yanı ise sıradan birçok sunucunun diskleri bir araya getirilerek büyük boyutlara sahip tek bir sanal disk oluşturulabilmesidir. HDFS’nin asıl varoluş amacı da budur diyebiliriz. Bu yüzden pek çok büyük internet adresi Hadoop kullanmaktadır. Yani büyük veriler üzerinde hızlı bir şekilde işlem yapabilmek için.

 

MapReduce Nedir?

1960’lı yıllardan kalma bir kalıba sahip olan MapReduce 2004 yılında Google tarafından duyrulmuştur. Çok büyük verilerin kolay bir şekilde analiz edilmesini sağlar. Ve yine pek çok dev MapReduce sistemini kullanmaktadır. Adını en çok duyuran proje ise Apache Hadoop’tur.

 

Peki Hadoop Bu Kadar Büyük Verileri Nasıl Saklıyor?

Normalde veriler dikey olarak büyüyecek bir şekilde birbirine ilişkili tablolarda saklanırlar. Ancak Hadoop’ta veriler yatay olarak büyüyecek şekilde cluster’larda saklanırlar.

 

Hadoop Overview

Hadoop Overview

 

Apache Hadoop Resmi Sitesi

Google Cloud Platformunda Hadoop’u Çalıştırın

Hadoop İle İlgili Türkçe Slayt

You Might Also Like

Henüz Yorum Yok

Bir Yorum Bırak

20 − fifteen =