Jouw dataplatform is het hart van je organisatie. Je gaat er iedere dag vanuit dat het blijft kloppen. Maar hoe weet je zeker of dat het geval is? Controleer je die hartslag weleens? In deze blog legt David van Helm, Data Engineer bij Inergy, uit waarom het zo belangrijk is om te weten hoe je een platform presenteert – en hoe je dat voor elkaar krijgt.
Oké, dat jouw dataplatform ‘het hart van je organisatie’ vormt, is natuurlijk een beetje cliché. Ik weet het. Maar het is wel een perfecte, passende metafoor. Want als mens ga je er iedere dag weer vanuit dat je hart zijn werk doet. Over het algemeen sta je daar niet bij stil. Voor jouw dataplatform geldt hetzelfde. Het verzamelt en verwerkt data op gezette tijden, en ook daarvan verwacht je dat het iedere dag naar behoren werkt. Toch is het verstandig om je dataplatform te monitoren, zodat je de prestaties altijd kunt controleren. In deze blog ontdek je vier redenen waarom dat zo is.
1. Vertrouw volledig op je data
Je hebt een dataplatform, omdat je wil werken vanuit één versie van de waarheid. Met data waarvan iedereen zeker weet dat het de juiste data is. Je kunt daar pas blind op vertrouwen als je 100 procent zeker weet dat de meest actuele data correct is ingeladen. Alleen dan kun je je werk goed uitvoeren. Denk daarbijaan nieuwe prijzen bepalen op basis van de verkopen van afgelopen week, of een nieuwe personeelsplanning maken op basis van de gewerkte uren van afgelopen maand.
Soms wijkt data af van wat jij of je collega’s verwachten op basis van jullie werkervaring. Ook dan is het handig om te kunnen controleren of de data actueel en correct is. Door precies te weten of alle data succesvol is ingeladen, hoe lang dat heeft geduurd en op welke onderdelen het misschien niet goed ging, neem je met een gerust hart cruciale beslissingen die jouw organisatie vooruithelpen.
“Je hebt een dataplatform, omdat je wil werken vanuit één versie van de waarheid. Met data waarvan iedereen zeker weet dat het de juiste data is.”
2. Werk proactief aan verbetering
Hoe beter je weet wat er allemaal gebeurt aan de achterkant van je dataplatform, hoe eerder je constateert wat er beter kan. En daar kun je vervolgens proactief naar handelen. Stel, je ziet dat het inladen van de verkoopdata opeens langer duurt dan normaal. Je kunt dan proberen te ontdekken of er processen binnen je organisatie zijn veranderd waardoor die vertraging optreedt.
Daarnaast trek je op deze manier sneller aan de bel bij de externe partner die jouw data en dataplatform beheert. Bovendien zet je die partner gerichter aan het werk, bijvoorbeeld omdat je precies kunt aangeven om welke dataload het gaat en wat er aan de hand is. Dat maakt jullie communicatie effectiever, met een snellere oplossing als resultaat.
3. Controleer op data- en platformbeheer
Veel organisaties laten hun data en dataplatform beheren door een externe partner. De wensen, verwachtingen en harde eisen rondom die dienstverlening leg je vast in een Service Level Agreement (SLA). Na het tekenen van zo’n SLA kun je in veel situaties niet anders dan die externe partner op zijn blauwe ogen geloven.
Behalve wanneer je zelf de prestaties van je dataplatform kunt monitoren. Zo creëer je volledige transparantie en zie je zelf precies wat er gebeurt – en waar je jouw beheerpartner eventueel op moet aanspreken.
4. Krijg maximale grip op kosten
Data opslaan in de cloud is tegenwoordig niet zo duur meer. De kosten voor rekenkracht in de cloud – compute – daarentegen, is een ander verhaal. Compute is prijziger dan opslag en je betaalt voor wat je verbruikt. Dus stel dat het inladen van een bepaalde dataset opeens twee dagen duurt in plaats van twee uur, dan word je aan het einde van de maand geconfronteerd met een flinke kostenstijging.
Als je exact weet wat er in jouw dataplatform gebeurt, constateer je eerder waar kosten de pan uit dreigen te rijzen én waar je kosten kan besparen.
Lees ook:
Verklein je dataset en los problemen met performance op
Controleer je hartslag met GOBI
De noodzaak van het monitoren van jouw dataplatform lijkt me inmiddels helder. Dan rest nog de vraag: hoe krijg je dat voor elkaar? Bij Inergy helpen we veel organisaties met datamanagement en het beheer van hun Snowflake-dataplatform. Voor hen hebben we nu Grip op BI ontwikkeld, oftewel GOBI.
Simpel gezegd is het een overzichtelijk Power BI-dashboard waarin je in één oogopslag ziet wat de status is van dataloads, hoelang dataloads duren en welke componenten van de load zijn mislukt. Uiteraard kan je daar ook op inzoomen voor meer gedetailleerde informatie, allemaal opgezet volgens het door Inergy ontwikkelde Enterprise Reporting Framework. Dat is een methode om op overzichtelijke wijze data te presenteren in een dashboard.
In de zeer nabije toekomst maken we zelfs inzichtelijk hoeveel iedere query en dataload kost, zowel in Snowflake-credits als in euro’s. Met GOBI houd je op een eenvoudige manier een vinger aan de pols van je dataplatform en houd je grip op prestaties, kosten en afspraken met je beheerpartner.
Wil je meer weten?
Wil je meer weten over GOBI? Of over de noodzaak van het monitoren van je dataplatform? Neem dan vrijblijvend contact met ons op. Eén van onze specialisten neemt binnen één werkdag contact met je op. Of plan direct zelf een gratis adviesgesprek op een dag en tijd die jou het best uitkomt.
