Snel naar content
Data Integratie en beheer cloud

Azure Data Factory: Data Integratie en Beheer in de Cloud

Om inzicht te krijgen in bedrijfsprocessen en om beslissingen te nemen op basis van gegevens is het noodzakelijk dat je in staat bent om gegevens uit verschillende bronnen te verzamelen en te integreren. Een dataplatform wordt gevoed met gegevens uit bronsystemen. Het extraheren van bronsystemen doet Inergy met Azure Data Factory, door onze Data Engineers ook wel ADF genoemd.

Wat is Azure Data Factory

Azure Data Factory is een cloud-gebaseerde data extractie- en orkestratie tool van Microsoft. Het biedt een robuuste set instrumenten van gegevensintegratie, waaronder visuele workflows en standaard ondersteuning voor meer dan 170 databronnen. Hierdoor wordt het ophalen van gegevens uit verschillende bronnen eenvoudiger.

Databases zowel SaaS als on-premise

Denk hierbij aan de bekende database zoals Microsoft, Oracle, Postgres en MySQL, maar ook Data feeds en ondersteuning voor veel SaaS diensten. Indien de dienst niet direct wordt ondersteund, spreekt Azure Data Factory ook API-taal zodat direct met een REST API gesproken kan worden. Daarnaast is er nog een generieke ODBC-driver mogelijkheid, waar vrijwel alles mee aan te sluiten is.

Maar niet alleen cloud en SaaS bronnen worden ondersteund, ook on-premise bronnen kunnen eenvoudig ontsloten worden. Bovendien biedt Azure Data Factory flexibiliteit en schaalbaarheid, zodat dit zelfs voor grote datasets kan worden ingezet.

Essentieel onderdeel van toolkit Inergy

Omdat Azure Data Factory een standaardcomponent is van Azure, is dit een essentieel onderdeel in de koolkit van Inergy en van onze klanten. ADF integreert uitstekend met verschillende Azure componenten. Denk bijvoorbeeld aan de standaard logging en monitoring welke zijn geïntegreerd in de Azure portal, maar ook Azure Functions, Databricks, Snowflake en Microsoft Purview.

De eenvoud van Azure Data Factory

Azure Data Factory is een standaard component in de Azure toolkit. Dit betekent dat een ontwikkelaar enkel hoeft te navigeren naar de webpagina van Azure Data Factory om te beginnen met bouwen van data pipelines. Binnen enkele minuten bouw je een data pipeline op deze webpagina. Daarna drukt de ontwikkelaar op de Debug knop om de pipeline te testen.

De ontwikkelaars testen de data pipelines op deze manier direct in de cloud en krijgen via een visuele weergave direct terug of de pipeline wel of niet goed heeft gedraaid. Deze zelfde interface wordt ook gebruikt om de acceptatie- en productieloods te bekijken. Als er bijvoorbeeld in productie iets aan de hand is, kan er gebruik van worden gemaakt voor foutopsporing.

Azure Data Factory

Samenwerking met Snowflake: Cloud-Native Datawarehousing

Snowflake is een cloud-native datawarehouseplatform dat de mogelijkheid biedt om grote hoeveelheden gegevens op te slaan, te analyseren en te beheren. Het is een schaalbare, beveiligde en geoptimaliseerde omgeving voor het opslaan en beheren van gegevens.

Door de samenwerking tussen Azure Data Factory en Snowflake is het mogelijk om gegevens van verschillende bronnen te integreren en te verzamelen in Snowflake. Hierna kunnen ze op een efficiënte manier worden geanalyseerd. Je gebruikt Azure Data Factory om gegevens van verschillende bronnen naar Snowflake te laden en te transformeren, waardoor je een compleet bleed krijgt van je gegevens.

Snowflake is beschikbaar op Microsoft Azure en integreert goed met de verschillende Azure componenten zoals Azure Data Factory en Azure Storage. Waar Azure Data Factory de marktleider is in integratie en gebruiksgemak, is Snowflake de marktleider in cloud dataplatformen. Snowflake en Azure Data Factory is een perfecte combinatie om efficiënt, effectief en pragmatisch het moderne dataplatform in de cloud te realiseren.

Peter Ledeboer
Meer weten?
Boek direct een gratis adviesgesprek met Peter

✔ kies zelf je dag en tijd ✔ gratis en zonder verplichtingen

Wil je meer weten?

Wil je meer weten over data integratie en beheer in de cloud? Neem dan vrijblijvend contact met ons op. Eén van onze specialisten neemt binnen één werkdag contact met je op.

Blijf op de hoogte

De auteur

Inergy
Inergy

Wij eten, drinken en ademen data – en wat je ermee kan doen. Dat delen we graag met jou. Meer weten over Inergy? Neem contact met ons op via 0348 45 76 66 of info@inergy.nl.

Meer berichten

Alle berichten

Een dag uit het leven van Krystle Villaflor, Cloud & DevOps Engineer bij Inergy

Een dag uit het leven van Krystle Villaflor, Cloud & DevOps Engineer bij Inergy

Als Cloud & DevOps Engineer bij Inergy maak ik deel uit van een team van meer dan 170 collega’s. In mijn rol zorg ik ervoor dat onze infrastructuur soepel draait en dat klanten kunnen vertrouwen op stabiele, veilige en efficiënte cloudomgevingen door middel van geautomatiseerde processen en continue optimalisatie.

Lees verder

Toegankelijkheid is geen luxe, maar een basisvoorwaarde voor inclusiviteit

Toegankelijkheid is geen luxe, maar een basisvoorwaarde voor inclusiviteit

In een samenleving waarin de overheid er voor iedereen is, ligt er een duidelijk verantwoordelijkheid bij diezelfde overheid om toegankelijk te zijn voor al haar burgers. Dit betekent niet alleen fysiek toegankelijke gebouwen, maar ook toegankelijke digitale documentatie. Of je nu een beleidsdocument, een begroting, of een ander P&C-publicatie schrijft, het is cruciaal dat deze documenten voor iedereen te begrijpen en te gebruiken zijn - ongeacht eventuele beperkingen.

Lees verder

Leonard vertelt over de nieuwe LIAS Risico-applicatie

Leonard vertelt over de nieuwe LIAS Risico-applicatie

Heb je ooit gewenst dat je publicaties consistenter en professioneler waren, zonder urenlang te moeten sleutelen aan elke zin? Met de LIAS Tekstassistent wordt dit realiteit. Laten we je meenemen in de praktische toepassingen die jouw werk als schrijver aanzienlijk eenvoudiger maken.

Lees verder