To datawarehouse or not to datawarehouse?

Wat is een datawarehouse?

Een datawarehouse is een integrale database waar je relevante, gestructureerde data uit verschillende bronnen op onderwerp gerangschikt kan terugvinden, combineren en analyseren.

In de meeste smalle definitie is een datawarehouse een kopie van de transactionele data, waardoor de operationele systemen wordt ontlast. In een BI-tool als Power BI volgen de vervolgstappen: het transformeren van de data (het ETL-proces), het stermodel , de metingen en de visuals.

Dit kunnen we dit als volgt schematisch weergeven.

Voordelen van een datawarehouse

Een datawarehouse kan de volgende voordelen bieden (bron: De intelligente datagedreven organisatie – Daan van Beek):

• Verbeteren van de integratie van data
• Creëren van een versie van de waarheid
• Verlagen van de responsetijd
• Flexibeler en sneller rapporteren
• Opbouwen van historie
• Verhogen van de datakwaliteit
• Ontlasten van operationele systemen
• Verhogen van de herkenbaarheid
• Verbeteren van de vindbaarheid​

Het is echter niet zo dat deze voordelen enkel met een datawarehouse bereikt kunnen worden. Ook zonder datawarehouse, met enkel Power BI, kunnen deze voordelen behaald worden, afhankelijk van de situatie en complexiteit.

Voor één van deze punten is een datawarehouse een must: het opbouwen van historie indien dat niet wordt gedaan in het ERP-pakket. Hiermee bedoelen we niet transactiedata zoals de omzet van vorig jaar, maar het bewaren van vluchtige data als orderstatussen.

Het combineren van data uit verschillende bronnen kan zowel in Power BI gedaan worden als in een separaat datawarehouse. De keuze zal afhangen van de mate van te verwachten complexiteit.

In een breed datawarehouse worden het transformatieproces, het relatiemodel en de metingen in het datawarehouse uitgevoerd. Power BI dient dan enkel als visualisatietool.

Een datawarehouse volgens de brede definitie kan als volgt worden weergegeven.

Intigo en datawarehouses

Welke keuzes maakt Intigo als het gaat om datawarehouses? Intigo kijkt per project naar de wensen van de klant, op korte en lange termijn, om te zien of een datawarehouse nodig is. We zetten de volgende opties in:

• Zijn er maximaal twee databronnen? Een datawarehouse is meestal niet nodig.
• Zijn er 3 of meer databronnen en is er sprake van extra complexiteit zoals dubbele dimensietabellen? Overweeg het opzetten van een datahub of datawarehouse.

Een veel gekozen tussenvorm is een datawarehouse met het enkel transformatieproces, met daarna in Power BI het stermodel en metingen.

Bedenk wel dit. Power BI biedt uitgebreide mogelijkheden om meerdere databronnen in te lezen, te transformeren en eenduidig samen te voegen tot één versie van de waarheid. Het is altijd mogelijk om 'klein' te beginnen in Power BI en later over te stappen naar een datawarehouse. Het verlaagt de initiële investeringen en verhoogt de snelheid waarmee de eerste successen geboekt kunnen worden.

Intigo houdt bij iedere keuze we rekening met de schaalbaarheid van de oplossing. Er zijn voldoende technische mogelijkheden om een klein datawarehouse stap voor stap uit te breiden.