Velen van ons herkennen het wel, op je to-do-lijst komt die ene veel-tijd-in-beslag-nemende taak weer aan bod. Die taak die zich herhaaldelijk aandient en bestaat uit het doorlopen van dezelfde handmatige stappen. Wanneer ik zo een taak tegen kom pas ik de volgende regel toe: één keer handmatig werken is leuk, twee keer is vervelend, drie keer is automatiseren.
Dus voor het bouwen van een datawarehouse en het sleutelen aan een datawarehouse bracht deze regel ons bij het automatiseren van dit proces. Om aan te geven waarom we hiervoor kiezen zal ik eerst uitleggen wat een datawarehouse is en hoe het werkt.

 

Een datawarehouse, hoe werkt dat?

Een datawarehouse wordt gevuld met gegevens uit één of meerdere bronnen. Uiteindelijk wil je dat deze gegevens georganiseerd worden getoond in een business intelligence (BI) tool, zodat je als gebruiker je gegevens kunt analyseren. Om dit te kunnen doen wordt meestal een ‘kubus’ gebouwd op het datawarehouse. Deze kubus slaat alle metadata op, dit is nodig om de data gebruiksvriendelijker te maken. Bovendien slaat de kubus de data uit het datawarehouse al geaggregeerd op, standaard berekeningen slaat hij van te voren op. Zo hoeft het systeem al deze berekeningen niet meer te doen op het moment dat er geleverd moet worden. Dit zorgt voor performance voordelen omdat het proces zo veel sneller gaat.
Wanneer een gebruiker van een BI tool behoefte heeft aan het krijgen van inzicht in een stuk informatie dat nog niet gedefinieerd is in het datawarehouse volgt een tijdrovend proces. Om dit voor elkaar te krijgen zijn IT expertise en manuren nodig. Dus voordat ruwe data bruikbare informatie wordt moeten er (volgens de traditionele manier) een aantal handmatige zaken gebeuren.

Om de vergelijking te maken tussen de traditionele manier van een datawarehouse bouwen en de geautomatiseerde manier zal ik eerst de stappen benoemen die komen kijken bij de traditionele manier.

Wat is datawarehousing? Datawarehousing is het proces waarbij allerlei soorten data in één systeem worden ondergebracht, zodat het beter mogelijk is te analyseren en rapporteren over allerlei aanwezige kennis binnen de organisatie. Op basis daarvan kunnen betere beslissingen worden genomen.

 

Traditionele manier van een datawarehouse bouwen

Stel een gebruiker heeft een functionele vraag, hij wil bijvoorbeeld een FTE overzicht. Dan gaat de BI consultant aan de slag: waar zit dit stuk data? Dit kan in een database, een flatfile, een Excel bestand etc. zitten. Vervolgens gaat hij deze ontsluiten met een ETL tool, deze tool kan gegevens uit verschillende bronsystemen verenigen. Voordat deze gegevens het datawarehouse ingaan worden ze weggezet in een staging laag. Ook bestaat er vaak een historical staging, hier worden alle bronleveringen opgeslagen die worden ingelezen in de staging laag. Mocht het nodig zijn, dan kunnen we alle geschiedenis in het datawarehouse laden. Vervolgens moet er gemodelleerd worden in het datawarehouse, hier worden dimensies en/of feitentabellen uitgebreid. Bij het vullen van de dimensies en/of feitentabellen vindt bewerking, integratie en schoning van gegevens plaats zodat er correcte, eenduidige en consistente gegevens door worden gegeven. Nu zit de data over FTE in het datawarehouse. De volgende stap is het aanpassen van de koppeling tussen het datawarehouse en de eventuele kubus, zodat de nieuwe dimensies en/of feiten worden meegenomen. Als het eenmaal in de kubus zit kan het naar voren komen in de BI tool. Al deze verrichtingen moeten handmatig worden uitgevoerd.
Zo, nu hebben we eindelijk een FTE overzicht. Zoals ik al schreef: tijdrovend.
En hier komt dus de aantrekkelijkheid om de hoek kijken om dit proces te automatiseren. Hieronder lees je hoe het proces eruitziet wanneer we een datawarehouse geautomatiseerd met CPMLive ontwerpen:

Een datawarehouse geautomatiseerd bouwen met CPMLive

Alle verrichtingen van bronontsluiting tot kubus aanpassingen die bij de traditionele manier van bouwen komen kijken hebben we geautomatiseerd. Daar waar een ontwikkelaar eerder uren kwijt was aan bouwen en testen, komt hij nu tot hetzelfde resultaat door een aantal muisklikken. In de praktijk betekent dit dat 80% van de handmatige werkzaamheden van de BI consultant zijn geautomatiseerd. De 20% die resteert bestaat uit het toevoegen van complexe business logica. Deze tijdswinst is een enorm voordeel.

Mijn to do lijst is zojuist een stuk korter geworden.

 

 

Één voordeel leidt tot vele voordelen

Een klant kan sneller aan de slag met onze BI tool, want het bouwtraject dat weken in beslag nam wordt nu in dagen gemaakt. Ook zodra een project is afgerond en het in productie en beheer is zijn wijzigingen gemakkelijk door te voeren.

Door het verlagen van de ontwikkeluren is er tijd over om te focussen op business ruling en testen.

Een ander voordeel van deze automatisering is dat impact analyses snel uitgevoerd kunnen worden in de BI architectuur. Als ergens iets gebeurt kan je direct zien waar het impact op heeft. Dit werkt ook andersom; je hebt een kubus en je wilt terugkijken naar de betreffende bron. Dit verhoogt in grote mate de beheersbaarheid van je hele BI omgeving.

Standaardisatie van je BI ontwikkelwerk is ook een groot voordeel. Alles wordt op dezelfde manier ontwikkeld. Bij niet-geautomatiseerde werkwijzen hanteert elke ontwikkelaar een eigen werkwijze, de ontwikkelaar bepaalt hoe hij iets doet. Wanneer gewerkt wordt met CPMLive werkt iedereen volgens dezelfde standaard.

Ook brengt CPMLive financiële voordelen met zich mee, door minder ontwikkeluren, standaardisatie en meer focus voor business ruling is het bouwen van een datawarehouse doelgerichter en voordeliger geworden.

Natuurlijk is het volledig automatiseren van processen niet altijd mogelijk. Maar door de datawarehouse automation van CPMLive zijn wij een stuk efficiënter gaan werken en kunnen we het merendeel van onze tijd spenderen aan het nog slimmer en beter maken van onze producten en diensten.