Dersimiz Data Warehouse

Tekrardan merhabalar,
Pertevniyal Lise' sinde okurken bir dönem hoca olmak isterdim. Bu iste kısa bir dönemdi ve sonrasında bu istek geçti ve bilgisayar mühendisi oldum. 6 Kasım günü, çalışmakta olduğum Yapi Kredi Banka' sının Bahçeşehir Üniversitesi ile yaptığı işbirliği çerçevesinde bir günde olsa hocalık yapma fırsatım oldu. Ders verme fırsatı benim için heyecanlı ve güzel bir deneyimdi. Tabiki bunu bir de öğrencilere sormak lazım:). Onlar açısından nasıl bi deneyim olduğu, suratlarından anlaşılıyordu. Dersimizin adı  "DWH: Transforming big data into a strategic asset" di ve amacımız, "DWH nedir", "Neden gereklidir" gibi sorulara cevap olduktan sonra DWH modelleme yaklaşımlarını anlatıp günümüzdeki trend ler ile dersimizi bitirmektir.

Anlattığımız konuların sunumu aşağıdadır.

Dersimiz Datawarehouse

Informatica Nedir

Informatica Nedir?

Bizim sektörde Informatica denince ilk akla ETL tool u olduğu gelir. Aslında işin içinde data nın olduğu her yerde bir informatica ürünü vardır ama ben de onlar hakkında fazla bir şey bilmediğimden herkesin aklına gelen ETL ürünü ile ilgili türkçe kaynak oluşması adına dilimin döndüğü kadarıyla bir şeyler anlatmak istiyorum.

Etl ürünün tam adı Informatica Power Center dir. Çok basit bir ifade ile yaptığı temel iş, bir çok kaynağa bağlanarak datayı çeker, data üzerinde istenen transformasyonlar yapar ve hedefe yükler.

ETL ürünün içinde Power Center Designer, Workflow Manager ve Workflow Monitor adında uygulamalar vardır. 

Designer Manager, adında da tahmin edileceği üzere ETL işlerinin tasarlanmasına yardımcı olur. Bir çok kaynaktan gelen dataları tek bir platformda derlerleyip, üzerinde istenen işlemleri yaparak hedef tabloya kadar datanın ulaşmasını sağlayan mappinglerin tasarımında kullanılır.

Workflow Manager , adı gibi iş akışını sağlar. Malumunuz üzerine genellikle bir tablonun bile ETL süreci tek bir işten olmuşmaz. Bazen bir dosya beklenir bazen başka bir işin bitmesi beklenir daha sonra ilgili tablo doldurulur başarılı bitmiş ise  işin sonunda gerekli parametreler set edilir yada mail atılır gibi birkaç adımın tamamı, ilgili tablonun ETL sürecini  oluşturur. Bu bir iş akışıdır. Bu iş akışını da bize Workflow Manager sağlar.

Workflow Monitor ise çalıştırılan iş akışlarının çalışma durumları izlenir. Hata alan işlerin ne hata aldıkları, biten işler, çalışma süreleri, CPU, RAM kullanımları gibi bilgiler bu uygulamadan izlenir.

Gartner in Data Integration ürünleri için hazırladığı  Magic Quandrant  aşağıdaki ektedir. OkuyunuzJ

http://www.gartner.com/technology/reprints.do?id=1-1CK9UDL&ct=121019&st=sb

Datawarehouse Modelle, Ralph vs Inmob

Merhabalar,


Bu blog a bir gaz ile başladım, gazım geçene kadar devam ederim:) çetrefilli cümleler kurmak için çaba sarfetmektense daha çok konuşma tadında Business Intelligence ile ilgili yazılar yazacağım yada paylaşacağım.

İlk olarak datawarehouse modellenmesinde kullanılan iki ana modeli kısaca anlatarak başlayayım da ayağım alışsın yoksa ilk günden sıkılır bir daha yazamam:)

Dimensional Datawarehouse mimarisi olarak bilinen Ralph Kimball’ in modelinin yanısıra, Corporate Information Factory olarak bilinen Bill Inmon ın modeli, Datawarehouse mimarilerinde kullanılmaktadır. Ralph amcamız, datawarehouse u datamartlar toplulugu olarak tanımlamaktadır. Kaynak sistemimi 3rd norm bir modele map’lemek yerine direk metric’ler içeren fact tablolar yaparım, bunların üstlerine attribute leri içeren dimensionları eklerim ve datamart lar yaparak datawarehouse’ umu kurarım diyor. Böylece günlerce kaynak sistemdeki hangi datayı hangi subject area’ lara modelleyeceğim diye uğraşmam, departmanlara özel örneğin satış, pazarlama datamart ları yaparım hemen raporlanmasını sağlarım düstürünü benimser. Bu yaklaşıma bir de Down- Top Approach denir.

Grafik http://newtonapples.com dan alınmıştır.

Girizgah

Merhabalar,

Türkçe kaynak konusunda sıkıntılı olan İş Zekası üzerine bir nebze de olsa, kaynak olması amacıyla elimin döndüğü kadarıyla bir şeyler karalamak istediğimden bu blog u açtım. Çok fazla bir beklenti içine girmeyin ama:)