Big Data

Büyük veriyi kısa bir yazıyla tanıtmak çok da kolay değil. Hakkında onlarca kitabın yazıldığını düşünürsek bu beni doğrular. Bu yazıda öncelikle “big data hakkında genel bilgiler” vermeye çalıştım. Big Data Nedir? Türkçeye "Büyük Veri" olarak çevirebileceğimiz "Big Data" basit bir ifadeyle "bir düzene uyan veya uymayan, artan hızla büyüyen ve depolanan büyük hacimli veriler" şeklinde ifade edebiliriz. Zamanla "verimlilik" ve "müşteri memnuniyeti" kavramlarının önem kazanmasıyla bu tür analiz ihtiyaçları da artmıştır. Büyük veri bu ihtiyaçlardan ortaya çıkmış bir kavramdır. Teknolojinin ilerlemesiyle üretilen verilerin hacminde ciddi artışlar meydana gelmiştir. Buna paralel olarak depolama kapasiteleri de artış gösterince artık çok büyük verileri depolamak mümkün olduğundan “büyük veri (big data)” kavramı daha da işlerlik kazandı. Fakat verilerin boyutu arttığından klasik veri işleme yöntemleri yetersiz kalmaya başladı. En bilinen örnekle “ilişkisel veritabanları” bu kadar yoğun verileri kaydetmekte yavaş kaldılar. Bu sebepler daha modern işleme yöntemleri de ortaya çıktı. Oracle, IBM ve Microsoft gibi dünya devi şirketler bu konuda çok büyük paralar harcamaktadır. ...

Okumadıysanız öncelikle “Dark Data (Karanlık Veri) Nedir? Neden Önemlidir?” yazımı okumanızı tavsiye ederim. Yazıda karanlık verinin nasıl ortaya çıktığından bahsetmiştim. Şimdi ise bu veriyi nasıl yöneteceğiz ona göz atalım. Bildiğiniz gibi yönetmemiz gereken büyük bir veri var. Gereksiz karanlık verinin oluşumu engellemek için başlıca önlemleri şöyle özetleyebiliriz: Yeterince Analiz Yapın "Şimdilik her bilgiyi alalım da sonra ayıklarız" veya "Biz herşeyi kaydedelim bakalım neleri kullanacağız..." gibi yaklaşımlarla büyük veri analizlerine girmemek gerekiyor. Projemize yeterince vakit ayırıp bize gereken verileri dikkatlice süzerek analiz yapmalı ve sadece gereken verileri saklamalıyız. En başta alacağımız bu önlem ileride çok işimize yaracaktır. Haydi analize! Verilerin Sadeleştirilmesi Büyük verinin mutlaka "geçerlilik zamanı" vardır. Kaydedilen verileri ömürlerine göre sınıflandırarak; ömrünü tamamlamış olan verileri kalıcı olarak silebiliriz. Böylece gereksiz ve veri açığı doğurma riski bulunan eski verilerden kurtulabiliriz. Verilerin Yedeklenmesi Verilerin hacmi büyük ve üretim hızı yüksek olduğundan yedekleme çok önemli. Yedeklenmeyen bir yapı çok hızla performans sorunlarıyla karşı karşıya kalabilir. Halbuki yukarıda bahsettiğim sadeleştirmeden sonra hala daha durması gereken verileri yedekleyebiliriz. Fakat veri çok büyük olduğu için "bütün yedek" yöntemleri yerine "değişen verinin yedeklenmesi" mantığıyla çalışan modern yedekleme yöntemleri önerilmektedir. Aksi halde yedekleme işi kabusumuz olabilir! Yedekleme sonrası disk ihtiyacı daha rahat kontrol altında tutulabilir. Verilerin Şifrelenmesi Büyük verinin belki de en önemli tehlikesi "gizli" bilgilerin açığa çıkma tehlikesidir. Bunun önüne geçmek için verilerin "şifreli" olarak saklanması öneriliyor. Buna paralel olarak yedeklerimizi de şifreli tutacak yazılımlara yönelmek iyi bir çözüm olabilir. Şifreleme için "hassas" verinin en başta analiz edilmesi faydalı olacaktır. Yoksa sonradan başınıza bir dert açana kadar o veriyi hissetmezsiniz bile... Yukarıda bahsettiğim önlemler “karanlık veri (dark data)” oluşumunu önceden azaltıcı etki sağlayacak ve yürüyen sisteminizi de karanlık verinin maliyetlerinden kurtaracaktır diye umuyorum. ...

Bir önceki “Big Data (Büyük Veri) Nedir? Ne İşe Yarar?” yazımda büyük veriden bahsetmiştim. Şimdi de büyük veriye paralel olarak ortaya çıkan Dark Data (Karanlık Veri) hakkında bilgi vermeye çalışacağım. Dark Data (Karanlık Veri) Nedir? Karanlık veri henüz yeni bir kavram (en azından bu yazıyı yazarken yeniydi). Bu kavrama sadece Gartner'ın IT Sözlüğü'nde yer verilmiş (bakınız: Gartner IT Glossary > Dark Data). Özetle etkin olarak hiçbir şekilde kullanılmamasına rağmen yine de saklanan verilere "karanlık veri" deniliyor. Büyük veri (big data) analizi için çok büyük boyutlarda (terabayt küçük kalıyor öyle düşünün) veri depolandığından bahsetmiştim. Hacimli veriler toplamaya başlayacaksanız mutlaka iyi analiz yapmalısınız. Başta detaylı düşünülmeyen noktalar ileride farkına bile varamayacağınız “karanlık veriler” oluşturmanıza neden olabilir. Yürüyen bir sistemde de bunları temizlemek ve bu konudaki verimsizlikleri ortaya çıkarmak çok zor olabilir. ...