Büyük Veri

Dünyada ve ülkemizde teknolojinin yıkıcı etkileri tüm sektörlerde kendini gösteriyor. Bir çok yeni meslek doğuyor. İş yapma şekilleri değişiyor. Herkes "veri" odaklı düşünmeye başladı. Bu konuları EkoTürk TV'de Evren Bolgün ile Perspektif programında ele aldık. Programda şu konuları konuştuk; Inovasyon türleri,Finans ve teknoloji kavramlarından üretilen "fintek" kavramı,Büyüyen veri boyutları,Finans sektöründe veri odaklı yeni ürünler,Dijital Dönüşüm Ofisi,Açık veri. https://www.youtube.com/watch?v=cjqSI43Nm50 Bu arada; programda gösteremediğim iki adet görseli de paylaşmak istiyorum. ...

Büyük veriyi kısa bir yazıyla tanıtmak çok da kolay değil. Hakkında onlarca kitabın yazıldığını düşünürsek bu beni doğrular. Bu yazıda öncelikle “big data hakkında genel bilgiler” vermeye çalıştım. Big Data Nedir? Türkçeye "Büyük Veri" olarak çevirebileceğimiz "Big Data" basit bir ifadeyle "bir düzene uyan veya uymayan, artan hızla büyüyen ve depolanan büyük hacimli veriler" şeklinde ifade edebiliriz. Zamanla "verimlilik" ve "müşteri memnuniyeti" kavramlarının önem kazanmasıyla bu tür analiz ihtiyaçları da artmıştır. Büyük veri bu ihtiyaçlardan ortaya çıkmış bir kavramdır. Teknolojinin ilerlemesiyle üretilen verilerin hacminde ciddi artışlar meydana gelmiştir. Buna paralel olarak depolama kapasiteleri de artış gösterince artık çok büyük verileri depolamak mümkün olduğundan “büyük veri (big data)” kavramı daha da işlerlik kazandı. Fakat verilerin boyutu arttığından klasik veri işleme yöntemleri yetersiz kalmaya başladı. En bilinen örnekle “ilişkisel veritabanları” bu kadar yoğun verileri kaydetmekte yavaş kaldılar. Bu sebepler daha modern işleme yöntemleri de ortaya çıktı. Oracle, IBM ve Microsoft gibi dünya devi şirketler bu konuda çok büyük paralar harcamaktadır. ...

Hiç şüphe yok ki; teknoloji her geçen gün hayatımıza biraz daha giriyor. Artık bazı teknolojik cihazlar olmadan yaşayamıyoruz! Cep telefonunuzu evde bırakıp geçireceğiniz bir günü düşünün mesela. Bu cihazların hepsi yazılım ile programlanıyor ve bize sunuluyor. Bu hızla artan ihtiyacı karşılamak için her geçen gün yazılım sektörü de hızla genişliyor. Çocuklarda yazılım eğitimi ve önemi de burada ortaya çıkıyor. Günümüzde yazılım öğrenme yaşı oldukça erken yaşlara kadar indi. Artık lise ve hatta ilköğretimde bile yazılımın temellerini öğreten dersler var. Peki çocuklarda yazılım eğitimi neden bu kadar önemli? ...

Okumadıysanız öncelikle “Dark Data (Karanlık Veri) Nedir? Neden Önemlidir?” yazımı okumanızı tavsiye ederim. Yazıda karanlık verinin nasıl ortaya çıktığından bahsetmiştim. Şimdi ise bu veriyi nasıl yöneteceğiz ona göz atalım. Bildiğiniz gibi yönetmemiz gereken büyük bir veri var. Gereksiz karanlık verinin oluşumu engellemek için başlıca önlemleri şöyle özetleyebiliriz: Yeterince Analiz Yapın "Şimdilik her bilgiyi alalım da sonra ayıklarız" veya "Biz herşeyi kaydedelim bakalım neleri kullanacağız..." gibi yaklaşımlarla büyük veri analizlerine girmemek gerekiyor. Projemize yeterince vakit ayırıp bize gereken verileri dikkatlice süzerek analiz yapmalı ve sadece gereken verileri saklamalıyız. En başta alacağımız bu önlem ileride çok işimize yaracaktır. Haydi analize! Verilerin Sadeleştirilmesi Büyük verinin mutlaka "geçerlilik zamanı" vardır. Kaydedilen verileri ömürlerine göre sınıflandırarak; ömrünü tamamlamış olan verileri kalıcı olarak silebiliriz. Böylece gereksiz ve veri açığı doğurma riski bulunan eski verilerden kurtulabiliriz. Verilerin Yedeklenmesi Verilerin hacmi büyük ve üretim hızı yüksek olduğundan yedekleme çok önemli. Yedeklenmeyen bir yapı çok hızla performans sorunlarıyla karşı karşıya kalabilir. Halbuki yukarıda bahsettiğim sadeleştirmeden sonra hala daha durması gereken verileri yedekleyebiliriz. Fakat veri çok büyük olduğu için "bütün yedek" yöntemleri yerine "değişen verinin yedeklenmesi" mantığıyla çalışan modern yedekleme yöntemleri önerilmektedir. Aksi halde yedekleme işi kabusumuz olabilir! Yedekleme sonrası disk ihtiyacı daha rahat kontrol altında tutulabilir. Verilerin Şifrelenmesi Büyük verinin belki de en önemli tehlikesi "gizli" bilgilerin açığa çıkma tehlikesidir. Bunun önüne geçmek için verilerin "şifreli" olarak saklanması öneriliyor. Buna paralel olarak yedeklerimizi de şifreli tutacak yazılımlara yönelmek iyi bir çözüm olabilir. Şifreleme için "hassas" verinin en başta analiz edilmesi faydalı olacaktır. Yoksa sonradan başınıza bir dert açana kadar o veriyi hissetmezsiniz bile... Yukarıda bahsettiğim önlemler “karanlık veri (dark data)” oluşumunu önceden azaltıcı etki sağlayacak ve yürüyen sisteminizi de karanlık verinin maliyetlerinden kurtaracaktır diye umuyorum. ...

Bir önceki “Big Data (Büyük Veri) Nedir? Ne İşe Yarar?” yazımda büyük veriden bahsetmiştim. Şimdi de büyük veriye paralel olarak ortaya çıkan Dark Data (Karanlık Veri) hakkında bilgi vermeye çalışacağım. Dark Data (Karanlık Veri) Nedir? Karanlık veri henüz yeni bir kavram (en azından bu yazıyı yazarken yeniydi). Bu kavrama sadece Gartner'ın IT Sözlüğü'nde yer verilmiş (bakınız: Gartner IT Glossary > Dark Data). Özetle etkin olarak hiçbir şekilde kullanılmamasına rağmen yine de saklanan verilere "karanlık veri" deniliyor. Büyük veri (big data) analizi için çok büyük boyutlarda (terabayt küçük kalıyor öyle düşünün) veri depolandığından bahsetmiştim. Hacimli veriler toplamaya başlayacaksanız mutlaka iyi analiz yapmalısınız. Başta detaylı düşünülmeyen noktalar ileride farkına bile varamayacağınız “karanlık veriler” oluşturmanıza neden olabilir. Yürüyen bir sistemde de bunları temizlemek ve bu konudaki verimsizlikleri ortaya çıkarmak çok zor olabilir. ...