Big data platform development with a telecom DSL

Abstract

The amount of data in our world has shown exponential growth in recent years. This creates a very large collection of data sets –so called big data- in many organizations. Enterprises want to process their own big data to generate values from data to improve productivity innovation and customer relationship better than their competitors. However big data is so large and complex that it becomes difficult to process using traditional database management techniques. in this paper we present a system which can be used to analyses for big data of telecom industries. -- Abstract'tan.

Son yıllarda dünyamızdaki veri miktarı katlanarak artmaktadır. Bu durum şirketler içerisinde büyük veri olarak adlandırılan yapıların ortaya çıkmasına neden olmaktadır. Günümüz şirketleri rakiplerinin önüne geçebilmek adına gerekli olan verimlilik, yenilik ve müşteri ilişkileri gibi analiz sonuçlarını kendi bünyelerinde bulunan verileri işleyerek elde etmek isterler. Ancak büyük veri gerçek anlamda çok büyük ve karmaşık olduğundan ötürü geneleksel veri yönetim sistemleri ile işlenmesi imkansız denecek kadar zordur. Bu çalışmada size telekom firmaları için geliştirilmiş olan büyük veri sistemini sunacağız. Sistemimiz üç ana bölümden oluşmaktadır: DSL adı verilen Telekom alanına özgü bir dil, Map Reduce programlama modeli içeren paralel programlama platform ve sonuçların kullanıcıya sunulduğu bir arayüz. Bu üç ana bölüm birbirleri ile dağıtık dosya tanımlayıcısı olarak adlandırdığımız -DFD- framework?ü kullanarak haberleşmektedir. Önermiş olduğumuz DSL çözümümüz telekom firmalarına özgü telefon kayıtları, ağ kayıtları, link analizleri gibi verilerin paralel olarak işlenmesine olanak sağlar. Ayrıca veri merkezinde dağıtık yapıda bulanan cihazlar üzerinde işlemlerin paralel olarak çözümlenmesini sağlar. Web tabanlı sonuç gösterim ara yüzü ile işlenen verilerin efektif olarak gösterilmesi amaçlanmıştır. Tanımlamış olduğumuz DSL dili, SQL dilinden oldukça basit bir dildir. Kullanıcının dosyalar üzerinde herhangi bir paralel işlem yaptırması için Map Reduce tekniklerini içeren C, Java gibi kodları yazmasına gerek olmamaktadır. Aynı dil ile sonuç gösterimini kullanmak mümkündür.