Büyük veriyi kısa bir yazıyla tanıtmak çok da kolay değil. Hakkında onlarca kitabın yazıldığını düşünürsek bu beni doğrular. Bu yazıda öncelikle “big data hakkında genel bilgiler” vermeye çalıştım.
Big Data Nedir?
Türkçeye “Büyük Veri” olarak çevirebileceğimiz “Big Data” basit bir ifadeyle “bir düzene uyan veya uymayan, artan hızla büyüyen ve depolanan büyük hacimli veriler” şeklinde ifade edebiliriz. Zamanla “verimlilik” ve “müşteri memnuniyeti” kavramlarının önem kazanmasıyla bu tür analiz ihtiyaçları da artmıştır. Büyük veri bu ihtiyaçlardan ortaya çıkmış bir kavramdır.
Teknolojinin ilerlemesiyle üretilen verilerin hacminde ciddi artışlar meydana gelmiştir. Buna paralel olarak depolama kapasiteleri de artış gösterince artık çok büyük verileri depolamak mümkün olduğundan “büyük veri (big data)” kavramı daha da işlerlik kazandı. Fakat verilerin boyutu arttığından klasik veri işleme yöntemleri yetersiz kalmaya başladı. En bilinen örnekle “ilişkisel veritabanları” bu kadar yoğun verileri kaydetmekte yavaş kaldılar. Bu sebepler daha modern işleme yöntemleri de ortaya çıktı. Oracle, IBM ve Microsoft gibi dünya devi şirketler bu konuda çok büyük paralar harcamaktadır.
Büyük Veri Örnekleri Nelerdir?
Büyük bir veritabanında kaydedilen düzenli veriler de olabilir. Bir excel dosyasında not alınmış düzensiz bir veri de olabilir. Bir şirkette karşımıza çıkan büyük verilere şöyle örnek verebiliriz;
- Müşteri Bilgleri
- Log dosyaları
- Çalışan Bilgileri
- Finansal Dokümanlar
- Gizli Projelere Ait Dokümanlar
Her Veri Büyük Veri Midir?
Elbette hayır! Kaydedilen verilerin büyük veri olarak adlandırılması için bazı kriterleri sağlaması gerekir. İnternette bu krikterler isimlendirme olarak değişkenlik gösteriyor. Ben de kendime göre düzenledim:
- Hacim (Volume)
Bir verinin büyük veri (big data) olmasının en önemli şartı “ciddi boyutlarda” olmasıdır. Verinin boyutu onun değerini belirler. Hızla artan bir veri, kaynağı hakkında daha sağlam ve keskin bilgiler verebilir. - Çeşitlilik (Variety)
Verinin çeşitliliği analiz edilmesindeki anlamı artırdığından önemli bir özelliktir. Çeşitlilik elde edilen verilerin farklı kaynaklardan sağlanmasını ifade eder. Örneğin e-posta ile gelen, düzenli üretilen pdf raporlarından gelen, kullanıcı girişlerinden elde edilen veriler. Özetle “bir düzende olan” veya “bir düzende” olmayan veri çeşitliliğini ifade eder. - Hız (Velocity)
Yavaş bir hızla büyük veri elde edilemez. Bu yüzden verinin çok hızlı ve sürekli elde edilmesi gerekir. Aynı mantıkla; üretilen veri eğer aynı hızla işlenemezse yine bir anlam ifade etmez. Bu yüzden büyük veri hızlı büyüyen ve hızlı işlenen veri olmalıdır. - Doğruluk (Veracity)
Üretilen verinin kirli ve bozulmamış olması gerekir. Gereksiz ve değişime uğramış büyük verileri analiz etmek ciddi vakit kaybına ve hatalı sonuçlara yol açabilir. Bu sebeple verinin doğruluğu kriterler içinde en hassas olanların biridir. - Geçerlilik (Validity)
Geçerlilik, doğruluğa benzer bir madde. Elde edilen verinin geçerliliğini yitirmemiş olması, anlamlı ve doğru olması gerekliliğini ifade eder. - Oynaklık (Volatility)
Çok hızlı büyüyen bir veriden bahsederken, bir verinin ne kadar süre işler halde kalabileceği sorusu dikkati çeker. Büyük veride işlenen verinin bir ömrü vardır. Bu madde bunu ifade eder. Büyük veri olan elde edilen verinin ne kadar süre sonra geçersiz olacağını bilmek gerekir
Büyük Veri (Big Data) Ne İşe Yarar?
Yukarıda bahsedilen kriterleri sağlayan bir veriye sahipseniz, elinizde büyük bir güç var demektir. Elde edilen bu verileri doğru analiz ederek verdiğimiz hizmeti, servisi veya sunduğumuz ürünü geliştirmek veya verimliliğini artırmak mümkün olabilir.
Teknolojide lider bir çok ülke büyük veri (big data) analizi yapmaktadır. Savunmadan seçim analizlerine, uyuşturucuyla mücadeleye kadar önemli alanlarda kullanılmaktadırlar. Sektörel olarak da; imalat, medya, internet, bankacılık, bilimsel faaliyetler, emlak sektörü gibi gibi sektörlerde gayet etkin olarak kullanılmaktadır.
Başarı öyküleri için internette çok fazla kaynak var. İlgi duyanların bu kaynaklardan devam etmesini öneriyorum. Büyük veriyle ilgili “Dark Data (Karanlık Veri) Nedir? Neden Önemlidir?” yazımı da okumanızı tavsiye ederim.
Ayrcıca bu konuda güzel bir site de tavsiye ederim; http://devveri.com/big-data