Als een organisatie start met het maken van dashboards, wordt de data vaak door een BI-tool opgehaald bij de databron. Hiermee krijg je met minimale inspanning inzicht in belangrijke gegevens en trends. In de praktijk zitten er echter veel beperkingen aan deze methode. In deze blog leggen we uit waarom het beter is om gebruik te maken van een datawarehouse als tussenlaag.
De nadelen van directe koppeling met databronnen
Vaak is de eerste stap in het maken van een dashboard om databronnen direct te benaderen vanuit een BI-tool zoals Power BI. Het lijkt een eenvoudige methode, maar in de praktijk kleven hier grote nadelen aan. Hieronder lichten we enkele nadelen toe:
- Data is niet op de juiste manier georganiseerd
Databronnen zoals bijvoorbeeld applicaties zijn vaak niet direct geschikt om te gebruiken in de BI-tool omdat ze niet op de juiste manier zijn georganiseerd. Vaak werkt een applicatie met een veelvoud aan tabellen waar het data in wegschrijft die niet zijn gemodelleerd volgens een stermodel. BI-tools zijn juist vaak voor een stermodel geoptimaliseerd.
- Datatransformaties leiden tot lange verversingstijden
Er zijn transformaties nodig om de berekeningen te doen en businessregels toe te kunnen passen. Dit kan leiden tot lange verversingstijden in de BI-tool. Je moet de data uit de databron eerst transformeren voordat je die kan gebruiken in het dashboard. Zo moet je datatypes aanpassen, extra kolommen berekenen en businessregels toepassen om tot de juiste doorsnedes te komen.
- Data is lastig te combineren
De data in verschillende systemen zijn in de BI-tool vaak moeilijk aan elkaar te linken, omdat er bijvoorbeeld andere sleutels worden gebruikt. Om deze koppelingen wel te kunnen maken, zijn vaak complexere rekenregels en veel rekenkracht nodig.
- Grote datavolumes door gebrek aan deltadetectie
Omdat BI-tools niet geoptimaliseerd zijn voor deltadetectie (welke rijen zijn gewijzigd) zal vaak alle data ververst moeten worden. Dit leidt ertoe dat je vaak zeer veel data overhaalt zonder dat er wijzigingen hebben plaatsgevonden.
Om bovenstaande nadelen te voorkomen is het vaak beter om gebruik te maken van een datawarehouse als tussenlaag tussen de databronnen en de BI-tool.
Datawarehouse opzetten
Kies voor een datawarehouse
Zijn je huidige dashboards traag en loop je tegen performanceproblemen aan? Of staat de data in jouw organisatie in verschillende geïsoleerde databases en worden deze handmatig geëxporteerd wanneer dit nodig is voor analyses of rapportages?
Datatransformatie in de BI-tool
Als je de BI-tool toch direct aan de data koppelt, moet je de data eerst transformeren zodat de data gemodelleerd is in een sterschema. Vervolgens pas je business rules toe. Bovendien kan je door het transformeren van data ook bepaalde waarden toevoegen of bewerken. Denk aan het toevoegen van berekende velden of het aggregeren van gegevens.
Hiermee verrijk en verbeter je het dashboard. Zonder het transformeren van data bevat het dashboard mogelijk weinig bruikbare informatie.
1. Data transformeren
Datatransformatie verwijst naar het proces waarbij je ruwe gegevens omzet en aanpast naar een gestructureerde en geoptimaliseerde vorm. Na de datatransformatie zijn de ruwe gegevens geschikt voor verdere verwerking, analyse en rapportage. Als er veel datatransformaties moeten worden uitgevoerd in de BI-tool, leidt tot vaak tot langere ververstijden, met langzame dashboards tot gevolg.
Een datawarehouse zorgt ervoor dat de opslag en verwerking van data plaatsvindt in de database en niet in de BI tool. Databases zijn ontworpen voor opslag en verwerking van veel data, terwijl BI-tools daar vaak minder krachtig in zijn. BI-tools zijn niet zo krachtig en hebben moeite met het verwerken van grote hoeveelheden gegevens.
2. Data modelleren volgens het sterschema
Het Power BI sterschema (of Star Schema in het Engels) is een datamodel in Power BI dat bestaat uit één centrale feitentabel (fact table) die is verbonden met meerdere dimensionele tabellen (dimension tables). Het heet een sterschema vanwege de vorm die de relatie tussen deze tabellen heeft. De fact table staat in het midden van de ster en de dimension tables aan de uiteinden van de stralen staan.
Zonder goed gemodelleerde data heb je complexe rekenregels nodig om de juiste aantallen te tonen in het dashboard. Dit leidt vaak tot langzame dashboards.
3. Business rules toepassen
Door business rules toe te passen in een datawarehouse, worden gegevens voorgecalculeerd en opgeslagen. Hierdoor kan de BI-tool de gegevens veel sneller opvragen en presenteren. Als de business rules daarentegen in de BI-tool worden toegepast, moeten de berekeningen elke keer opnieuw worden uitgevoerd wanneer de gegevens worden opgevraagd. Dit leidt tot slechtere prestaties van het dashboard.
Lees ook:
Verklein je dataset en los problemen met performance op.
Nadelen van datatransformatie in de BI-tool zelf
- Prestatieproblemen
De BI-tool is niet ontworpen voor het verwerken en opslaan van grote hoeveelheden data en dus niet in staat is om dit efficiënt te doen. Hiredoor wordt de hoeveelheid data vaak te groot voor de beschikbare ruimte in de BI-tool, waardoor de prestaties van het dashboard of rapport tegenvallen.
- Beperkte transformatiefunctionaliteit
De BI-tool is niet zo uitgebreid als een datawarehouse als het gaat om het transformeren van data. Hierdoor zijn er minder opties voor het manipuleren of verrijken van de data. Daarnaast kan het verversen van je data lang duren door alle transformaties die moeten plaatsvinden. Hiervoor kun je dus beter de rekenkracht van een datawarehouse gebruiken in plaats van de BI-tool.
- Versiegeschiedenis
Ook is het in een BI-tool vaak lastig om versiegeschiedenis toe te passen, waar dit in een datawarehouse makkelijker in te regelen is.
Boek direct een gratis adviesgesprek met Peter
✔ kies zelf je dag en tijd ✔ gratis en zonder verplichtingen
Meer weten?
Wil je meer informatie over het verbeteren van de performance van dashboards je organisatie? Neem dan vrijblijvend contact met ons op. Eén van onze specialisten neemt binnen één werkdag contact met je op. Of plan direct zelf een gratis adviesgesprek in op een dag en tijd die jou het best uitkomt.
