Snel naar content
Header Dataplatform monitoren

Houd een vinger aan de pols: 4 redenen waarom je de prestaties van jouw dataplatform moet monitoren

Jouw dataplatform is het hart van je organisatie. Je gaat er iedere dag vanuit dat het blijft kloppen. Maar hoe weet je zeker of dat het geval is? Controleer je die hartslag weleens? In deze blog legt David van Helm, Data Engineer bij Inergy, uit waarom het zo belangrijk is om te weten hoe je een platform presenteert – en hoe je dat voor elkaar krijgt.

Oké, dat jouw dataplatform ‘het hart van je organisatie’ vormt, is natuurlijk een beetje cliché. Ik weet het. Maar het is wel een perfecte, passende metafoor. Want als mens ga je er iedere dag weer vanuit dat je hart zijn werk doet. Over het algemeen sta je daar niet bij stil. Voor jouw dataplatform geldt hetzelfde. Het verzamelt en verwerkt data op gezette tijden, en ook daarvan verwacht je dat het iedere dag naar behoren werkt. Toch is het verstandig om je dataplatform te monitoren, zodat je de prestaties altijd kunt controleren. In deze blog ontdek je vier redenen waarom dat zo is.

1. Vertrouw volledig op je data

Je hebt een dataplatform, omdat je wil werken vanuit één versie van de waarheid. Met data waarvan iedereen zeker weet dat het de juiste data is. Je kunt daar pas blind op vertrouwen als je 100 procent zeker weet dat de meest actuele data correct is ingeladen. Alleen dan kun je je werk goed uitvoeren. Denk daarbijaan nieuwe prijzen bepalen op basis van de verkopen van afgelopen week, of een nieuwe personeelsplanning maken op basis van de gewerkte uren van afgelopen maand.

Soms wijkt data af van wat jij of je collega’s verwachten op basis van jullie werkervaring. Ook dan is het handig om te kunnen controleren of de data actueel en correct is. Door precies te weten of alle data succesvol is ingeladen, hoe lang dat heeft geduurd en op welke onderdelen het misschien niet goed ging, neem je met een gerust hart cruciale beslissingen die jouw organisatie vooruithelpen.

“Je hebt een dataplatform, omdat je wil werken vanuit één versie van de waarheid. Met data waarvan iedereen zeker weet dat het de juiste data is.”

2. Werk proactief aan verbetering

Hoe beter je weet wat er allemaal gebeurt aan de achterkant van je dataplatform, hoe eerder je constateert wat er beter kan. En daar kun je vervolgens proactief naar handelen. Stel, je ziet dat het inladen van de verkoopdata opeens langer duurt dan normaal. Je kunt dan proberen te ontdekken of er processen binnen je organisatie zijn veranderd waardoor die vertraging optreedt.

Daarnaast trek je op deze manier sneller aan de bel bij de externe partner die jouw data en dataplatform beheert. Bovendien zet je die partner gerichter aan het werk, bijvoorbeeld omdat je precies kunt aangeven om welke dataload het gaat en wat er aan de hand is. Dat maakt jullie communicatie effectiever, met een snellere oplossing als resultaat.

3. Controleer op data- en platformbeheer

Veel organisaties laten hun data en dataplatform beheren door een externe partner. De wensen, verwachtingen en harde eisen rondom die dienstverlening leg je vast in een Service Level Agreement (SLA). Na het tekenen van zo’n SLA kun je in veel situaties niet anders dan die externe partner op zijn blauwe ogen geloven.

Behalve wanneer je zelf de prestaties van je dataplatform kunt monitoren. Zo creëer je volledige transparantie en zie je zelf precies wat er gebeurt – en waar je jouw beheerpartner eventueel op moet aanspreken.

4. Krijg maximale grip op kosten

Data opslaan in de cloud is tegenwoordig niet zo duur meer. De kosten voor rekenkracht in de cloud – compute – daarentegen, is een ander verhaal. Compute is prijziger dan opslag en je betaalt voor wat je verbruikt. Dus stel dat het inladen van een bepaalde dataset opeens twee dagen duurt in plaats van twee uur, dan word je aan het einde van de maand geconfronteerd met een flinke kostenstijging.

Als je exact weet wat er in jouw dataplatform gebeurt, constateer je eerder waar kosten de pan uit dreigen te rijzen én waar je kosten kan besparen.

Lees ook:
Verklein je dataset en los problemen met performance op

Controleer je hartslag met GOBI

De noodzaak van het monitoren van jouw dataplatform lijkt me inmiddels helder. Dan rest nog de vraag: hoe krijg je dat voor elkaar? Bij Inergy helpen we veel organisaties met datamanagement en het beheer van hun Snowflake-dataplatform. Voor hen hebben we nu Grip op BI ontwikkeld, oftewel GOBI.

Simpel gezegd is het een overzichtelijk Power BI-dashboard waarin je in één oogopslag ziet wat de status is van dataloads, hoelang dataloads duren en welke componenten van de load zijn mislukt. Uiteraard kan je daar ook op inzoomen voor meer gedetailleerde informatie, allemaal opgezet volgens het door Inergy ontwikkelde Enterprise Reporting Framework. Dat is een methode om op overzichtelijke wijze data te presenteren in een dashboard.

In de zeer nabije toekomst maken we zelfs inzichtelijk hoeveel iedere query en dataload kost, zowel in Snowflake-credits als in euro’s. Met GOBI houd je op een eenvoudige manier een vinger aan de pols van je dataplatform en houd je grip op prestaties, kosten en afspraken met je beheerpartner.

Wil je meer weten?

Wil je meer weten over GOBI? Of over de noodzaak van het monitoren van je dataplatform? Neem dan vrijblijvend contact met ons op. Eén van onze specialisten neemt binnen één werkdag contact met je op. Of plan direct zelf een gratis adviesgesprek op een dag en tijd die jou het best uitkomt.

Blijf op de hoogte

De auteur

David van Helm
David van Helm

Data Engineer

David van Helm is Data Engineer bij Inergy.

Meer berichten

Alle berichten

Begroten doe je in LIAS (en niet in je financiële pakket)

Begroten doe je in LIAS (en niet in je financiële pakket)

Weet jij altijd precies waar je staat in je begroting? Als je daaraan twijfelt - of als je deze vraagt met 'nee' beantwoordt - moet je zeker doorlezen. In deze blog staan we stil bij een andere manier om de begroting te maken: in LIAS. Een manier van decentraal begroten, waarbij budgethouders zelf hun voorgenomen aanpassingen opvoeren. Daardoor heb je niet alleen inzicht in vastgestelde mutaties, maar zie je ook welke er wachten op besluitvorming.

Lees verder

Een audit is veel meer dan het invullen van een checklist

Een audit is veel meer dan het invullen van een checklist

Het uitvoeren van een audit is een belangrijk instrument in het beheersen van processen. Een audit is meer dan vinkjes zetten op een checklist. Het uitvoeren van een audit begint met het inzicht krijgen in de processen en bijbehorende werkzaamheden. Wordt er gewerkt volgens de gemaakte afspraken? Zijn er verbeteringen mogelijk? Een audit uitvoeren helpt om dit inzicht te verkrijgen.

Lees verder

Azure Data Factory: Data Integratie en Beheer in de Cloud

Azure Data Factory: Data Integratie en Beheer in de Cloud

Om inzicht te krijgen in bedrijfsprocessen en om beslissingen te nemen op basis van gegevens is het noodzakelijk dat je in staat bent om gegevens uit verschillende bronnen te verzamelen en te integreren. Een dataplatform wordt gevoed met gegevens uit bronsystemen. Het extraheren van bronsystemen doet Inergy met Azure Data Factory, door onze Data Engineers ook wel ADF genoemd.

Lees verder